Mô hình mở mang AI ra quyết định kiểu Jev vào thẳng trình duyệt của bạn

Giữa lúc AI suy luận nhanh đang được tung hô nhiệt tình, một thử nghiệm mã nguồn mở vừa mang khả năng ra quyết định kiểu Jev vào thẳng trình duyệt của bạn.

Một dự án mã nguồn mở tên SemIf cho phép bạn chạy benchmark ra quyết định ngay trên máy mà không cần gửi dữ liệu về máy chủ. Trang web này sẽ tải các mô hình nén (quantized)—như MiniCPM5 2B hay Qwen3.5 4B—từ Hugging Face về và chạy trên GPU của bạn qua wllama. Dự án thử nghiệm hai phương pháp trên cùng một prompt: đọc xác suất lựa chọn trực tiếp từ logits, và xuất xác suất từng token một dưới dạng JSON text. Dự án vừa thu hút 535 điểm và 242 bình luận trên Hacker News.

Vì sao nên quan tâm: Các mô hình Jev đóng đạt 88,3% điểm benchmark TypeSafe, nhưng bạn bắt buộc phải dùng API qua server. Các mô hình mở chạy local chưa đạt độ chính xác đó—Qwen3 0.6B đạt 40,7% còn Qwen3.5 4B chạm mốc 84,5%. Bù lại, việc chạy thẳng trên trình duyệt giúp bảo mật tuyệt đối không cần backend và cho bạn đo chính xác thời gian thực thi ngay trên phần cứng của mình.

Thử ngay / Cần biết: Mở trang web và chạy MiniCPM5 2B trên máy tính hoặc Qwen3 0.6B trên điện thoại. Lần đầu tải mô hình sẽ mất vài phút, nhưng file trọng số (weights) sẽ được lưu sẵn trong cache trình duyệt.

Trình duyệt của bạn chính thức biến thành một sandbox thử nghiệm AI với độ trễ bằng không.