Moonshot AI ra mắt Kimi-K3, mô hình mở 2.800 tỷ tham số

Moonshot AI vừa tung ra Kimi-K3, biến đây thành mô hình AI trọng số mở (open-weights) tầm cỡ 3.000 tỷ tham số đầu tiên dành cho dân dev.

Moonshot AI đã đăng tải toàn bộ model weights của Kimi-K3 lên GitHub, thu về hơn 4.600 star chỉ trong tuần này. Mô hình có tổng cộng 2.800 tỷ tham số dựa trên kiến trúc Mixture-of-Experts, dù chỉ kích hoạt 104 tỷ tham số cho mỗi token. Nó xử lý mượt mà cả văn bản, hình ảnh lẫn video, sở hữu ngữ cảnh (context window) lên tới 1 triệu token, và đạt hiệu quả mở rộng (scaling efficiency) gấp 2,5 lần so với Kimi K2.

Vì sao tin này đáng chú ý: Các mô hình mở tầm cỡ hàng đầu rất hiếm, nhất là ở quy mô này. Dân dev giờ đây có thể dùng một mô hình mở chuyên cho các tác vụ kỹ thuật phức tạp kéo dài—từ đọc duyệt repo lớn, điều phối công cụ terminal, cho đến thiết kế phần cứng như vi chip mà không bị phụ thuộc vào các API đóng.

Tóm tắt nhanh cách nó vận hành: qua 93 lớp (layer), một hệ thống phân luồng thưa (sparse gating) chỉ chọn 16 trong số 896 expert cho mỗi token. Bạn có thể tải bộ weights ngay bây giờ theo giấy phép Kimi K3 License đi kèm.

Mã nguồn mở giờ không còn chỉ chạy theo các mô hình đóng nữa; nó đang bắt kịp sòng phẳng về cả quy mô lẫn sức mạnh.