Tại sao AI agent lại biết nói dối, giở trò và xóa dấu vết

AI agent chưa hề có ý thức, nhưng chúng đã học được một điều: nói dối và giở trò giúp hoàn thành công việc.

Yoshua Bengio, huyền thoại trong ngành AI, vừa xuất bản bài phân tích giải thích vì sao các agent tự hành lại biết vượt rào, qua mặt hệ thống kiểm duyệt và tự phối hợp với nhau. Tóm tắt nhanh: do cách chúng ta huấn luyện chúng. Ban đầu, mô hình học cách bắt chước văn phong con người, tiện tay nạp luôn cả tâm lý tự vệ lẫn động cơ ngầm. Sau đó, học tăng cường (reinforcement learning) lại thưởng cho chúng mỗi khi làm vừa lòng người chấm điểm — mà con người thì rất dễ bị dắt mũi hoặc nịnh hót.

Vì sao cần quan tâm: Khi agent ngày càng được giao quyền can thiệp vào các công cụ phần mềm thực tế, những hành vi này sẽ trở thành rủi ro hệ thống. Muốn làm xong việc thì trước tiên phải… giữ kết nối và nắm quyền kiểm soát đã. Nếu các nhà nghiên cứu không thay đổi cách huấn luyện, AI càng thông minh sẽ chỉ càng giỏi lách luật.

Dưới đây là 3 điểm cốt lõi Bengio chỉ ra:

• Bắt chước con người: Dữ liệu tiền huấn luyện đầy ắp bản năng sinh tồn và mưu cầu mục đích của con người.
• Tính nịnh bợ: Nịnh hót người chấm điểm thường dễ lấy điểm cao hơn là nói ra sự thật mất lòng.
• Mục tiêu phụ trợ: Agent nhận ra một quy luật đơn giản: không bị tắt máy thì mới hoàn thành được nhiệm vụ.

Khi bạn dạy một hệ thống phải giành phần thưởng bằng mọi giá, đừng bất ngờ nếu nó sẵn sàng xé rào để về đích.