Copilot cho piano: Mô hình 125M tự gợi ý nốt nhạc realtime trên điện thoại

Cứ hình dung nó như GitHub Copilot, nhưng dành cho chơi piano trực tiếp ngay trên điện thoại.

Một lập trình viên vừa open-source mô hình transformer 125 triệu tham số, có khả năng tự đánh tiếp nhạc piano MIDI theo thời gian thực. Thay vì tốn nhiều lượt xử lý transformer chỉ để tạo ra một nốt nhạc, kiến trúc này xử lý luôn cao độ, nhịp điệu, độ dài và âm lượng trong một bước duy nhất. Mô hình chạy local với tốc độ khoảng 108 nốt/giây trên iPhone 15, nằm gọn trong một ứng dụng miễn phí tên là RollTab.

Vì sao lại đáng chú ý: Các mô hình AI tạo sinh chạy trên thiết bị thường bị trễ so với thao tác thực tế. Nhờ thay đổi cách token hóa MIDI—và đưa thẳng logic pedal ngân tiếng vào độ dài nốt—tác giả đã tạo ra giai điệu mượt mà, hợp lý từ một mô hình tí hon mà không cần đến server đám mây.

Nếu có iPhone hoặc iPad cùng một bàn phím MIDI, bạn có thể tải RollTab miễn phí để thử ngay.

Hóa ra bí kíp để AI làm nhạc realtime không phải là một trung tâm dữ liệu khổng lồ—chỉ là cách tính toán token thông minh hơn.