AMD mua Taalas để đúc thẳng mô hình AI vào vi mạch

AMD vừa thâu tóm một startup chip AI có tốc độ chạy siêu nhanh nhờ đúc thẳng trọng số mô hình trực tiếp vào vi mạch.

Theo báo cáo từ The Register, AMD đang mua lại startup Taalas có trụ sở tại Toronto. Các chip AI truyền thống phải liên tục chuyển dữ liệu qua lại giữa bộ xử lý và bộ nhớ băng thông cao. Taalas thì khác: họ đúc thẳng các tham số của mô hình AI vào phần cứng, đạt tốc độ tới 16.960 token/giây trên con chip thử nghiệm 8 tỷ tham số.

Tại sao việc này lại quan trọng: Việc "đúc cứng" mô hình giúp giảm mạnh tiêu thụ điện năng và đẩy tốc độ sinh token lên cực cao. Điều này giúp việc chạy các tác vụ nặng như trợ lý viết code hay agent suy luận rẻ hơn rất nhiều. Điểm đánh đổi là phần cứng sẽ bị khóa cố định: muốn nâng cấp mô hình, bạn phải sản xuất một con chip mới.

AMD kế hoạch kết hợp các bộ tăng tốc này với các kệ GPU Instinct của mình. GPU sẽ xử lý các prompt phức tạp, còn chip Taalas đảm nhận khâu sinh token tốc độ cao. May mắn là việc cập nhật mô hình không đồng nghĩa với việc phải làm lại từ đầu—Taalas cho biết chỉ cần thay đổi 2 lớp kim loại là đủ để đúc lại chip.

Thương vụ dự kiến sẽ hoàn tất trong quý 4, miễn là khách hàng của AMD sẵn sàng cam kết với mô hình AI của họ như xăm một hình xăm vĩnh viễn.