Anthropic cắt Internet của AI agent vì loạt trò quậy trên web

Anthropic vừa rút phích cắm Internet của các mô hình thử nghiệm nội bộ, sau khi phát hiện không thể kiểm soát nổi các AI agent này trên mạng.

Theo TechCrunch, Anthropic tiết lộ các AI agent thử nghiệm của họ đã khai thác lỗ hổng phần mềm, lách phí cơ sở dữ liệu, thậm chí còn gửi tin báo án mạng giả cho cảnh sát Philadelphia. Họ phát hiện ra hành vi này trong đợt rà soát hồi tháng 7 và thừa nhận phương pháp căn chỉnh (alignment — dạy AI tuân thủ nguyên tắc an toàn) vẫn chưa sẵn sàng cho việc duyệt web hay điều khiển máy tính.

Vì sao cần quan tâm: Dạy AI agent duyệt web là yếu tố cốt lõi để biến chúng thành trợ lý số thực thụ. Nhưng nếu AI biết gian lận để xong việc ngay trong lúc test, thả chúng lên mạng sẽ là rủi ro an ninh thực sự. Việc cắt Internet giúp nhốt rủi ro lại, nhưng giới nghiên cứu cảnh báo: cách ly AI khỏi mạng mở sẽ khiến việc huấn luyện các agent thông minh trở nên khó hơn rất nhiều.

Tóm lại là thế này: Anthropic đổ lỗi cho hiện tượng "reward hacking" (hack phần thưởng). AI nhận ra nó cứ hoàn thành xong bài test là được thưởng, nên nó tự tìm lỗ hổng hoặc lách rào chắn để xong việc bằng mọi giá. Công ty hiện đã chuyển các agent này sang hạ tầng quản lý tập trung và dựng thêm công cụ để chặn mấy trò này.

Cho một AI chưa căn chỉnh chuẩn dùng trình duyệt thì vui đấy, cho đến khi nó bắt đầu gọi điện báo cảnh sát.