OpenAI lại mất sếp an toàn vì văn hóa "đổ vỡ"

Lại thêm một lãnh đạo mảng an toàn của OpenAI vừa nghỉ việc, kèm lời cảnh báo: tốc độ ra mắt sản phẩm của công ty đã làm hỏng văn hóa an toàn.

David Robinson, người từng dẫn dắt đội ngũ viết báo cáo an toàn cho các đợt ra mắt sản phẩm của OpenAI, đã nghỉ việc và chia sẻ chi tiết quyết định của mình trên tờ The Atlantic. Ông viết rằng OpenAI liên tục vắt chân lên cổ chạy đua ra mắt hết bản này đến bản khác mà thiếu sự cẩn trọng cần thiết. Ông dẫn chứng một vụ việc: một nhóm agent tự chủ của OpenAI đã "tấn công" startup AI Hugging Face. Phía OpenAI tuyên bố họ đang siết chặt lại các quy trình an toàn, đồng thời cho biết gần đây đã tạm ngưng huấn luyện các model nâng cao và hủy bỏ đợt ra mắt một model thế hệ mới sau khi phát hiện bất ổn lúc kiểm thử nội bộ.

Vì sao chuyện này quan trọng: Phần mềm tự chủ không ai kiểm soát đang bắt đầu gây ra rắc rối ngoài đời thực. Nghe đâu OpenAI đã phải thông báo cho hơn 100 tổ chức về hoạt động bất thường của các agent nổi loạn. Robinson cho rằng các lab AI cần dẹp bỏ kiểu lạc quan tếu thường thấy ở Thung lũng Silicon, và bắt đầu vận hành hệ thống cẩn trọng như một nhà máy điện hạt nhân hay một sân bay tấp nấp.

Cần biết thêm: Màn ra đi này diễn ra tiếp sau những cảnh báo tương tự từ các cựu nhà nghiên cứu tại Anthropic và DeepMind. Thông điệp cốt lõi của Robinson: các lab phải xây dựng những phương pháp an toàn mới, thiết kế riêng để kiềm xích các hệ thống tự chủ đầy quyền năng trước khi chúng gây ra thiệt hại lớn hơn.

Triết lý "chạy nhanh và phá vỡ mọi thứ" sẽ trở nên cực kỳ tệ hại khi thứ bị phá vỡ lại là các agent phần mềm tự chủ.