Laya đưa ra quyết định AI trong 33 millisecond mà không cần sinh chữ

Hầu hết các LLM tốn thời gian sinh nguyên cả câu chỉ để nói "có" hoặc "không" — Laya bỏ qua luôn bước tạo chữ.

Lập trình viên Nandha Kishor M vừa ra mắt Laya, một cỗ máy ra quyết định mã nguồn mở thu về hơn 20.000 star trên GitHub tuần này. Thay vì nhả chữ từng token một, Laya đánh giá đầu vào trong đúng một lượt (forward pass) để trả về kết quả dạng lựa chọn định kiểu sẵn, điểm số, hoặc quyết định có/không từ văn bản, email hay JSON. Công cụ này hỗ trợ hơn 100 ngôn ngữ, trả lời một câu hỏi trong 33 millisecond trên GPU T4 và tự động chọn checkpoint phù hợp nhờ bộ điều hướng tích hợp.

Tại sao lại quan trọng: Các bộ phân loại bằng LLM thông thường vừa chậm, đắt, lại hay lỗi khi văn bản trả về chệch khỏi schema định sẵn. Vì Laya không tạo chữ, bạn không phải mất công parse dữ liệu và mô hình cũng chẳng có cơ hội "ảo giác". Nó cho bạn các quyết định phân loại và xử lý workflow siêu nhanh, chuẩn cấu trúc với chi phí tính toán rẻ hơn rất nhiều.

Tóm gọn lại: Laya mang đến ba checkpoint dựng trên ModernBERT và mmBERT, kích thước từ 322 triệu đến 421 triệu tham số. Bạn có thể cài qua PyPI (pip install laya) để chạy đánh giá đơn lẻ hoặc theo lô trên nhiều ngôn ngữ mà không cần tự quản lý mô hình.

Nếu ứng dụng của bạn chỉ cần một kết luận nhanh, dừng tốn tiền trả cho LLM tự nói chuyện với chính nó đi.