Nhét một mô hình ngôn ngữ vào chip 8-bit từ năm 1975

Có người vừa chạy thành công một mô hình AI ngôn ngữ hiện đại trên vi xử lý 8-bit sản xuất từ năm 1975 với vỏn vẹn 32KB RAM.

Developer Matt Beton đã tự viết một engine suy luận riêng để chạy một mô hình ngôn ngữ siêu nhỏ dựa trên Mamba trên CPU MOS 6502 — con chip bên trong chiếc máy tính BBC Micro từ những năm 1980 của bố anh. Toàn bộ thiết lập nằm gọn trong 22KB bộ nhớ: 9KB cho code và 13KB cho 52.000 tham số mô hình. Vì chip 6502 không có phép nhân, Beton dùng kỹ thuật lượng hóa BitNet — cách nén trọng số chỉ còn -1, 0, hoặc 1 — để đổi các phép tính nhân đắt đỏ thành phép cộng nhanh gọn, rồi truyền code vào máy qua một sợi cáp nối tai nghe với đầu băng cassette tự chế.

Tại sao lại quan trọng: Việc này cho thấy kỹ thuật nén cực hạn có thể "vắt kiệt" phần cứng cổ đại đến mức nào. Nhờ kết hợp trọng số tam phân với bộ từ vựng siêu gọn chỉ 27 ký tự, kiến trúc mạng thần kinh hiện đại vẫn có thể chạy trên những con chip silicon ra đời nhiều thập kỷ trước khi mô hình transformer xuất hiện.

Thử ngay: Bạn có thể chạy mô hình này ngay trên trình duyệt bằng trình giả lập BBC Micro tự động tải file từ GitHub. Quá trình sinh văn bản sẽ mất khoảng vài phút.

Câu chuyện về Tom và Lily do mô hình này viết ra chắc không ẵm nổi giải Pulitzer, nhưng dạy cho phần cứng 50 tuổi biết đoán từ tiếp theo thì đúng là đáng nể.