phone-harness giúp AI agent tự điều khiển chiếc iPhone thật của bạn

Một công cụ mã nguồn mở vừa ra mắt cho phép các AI agent tự điều khiển chiếc iPhone thật của bạn bằng lệnh mà không cần jailbreak.

Vừa trình làng tuần này, dự án phone-harness của ShawnPana đã gom về 1.300 star trên GitHub. Nó giúp các LLM điều khiển iPhone thật thông qua tính năng iPhone Mirroring có sẵn trên macOS Sequoia. Công cụ này dùng screencapture kết hợp OCR từ Apple Vision framework làm đôi mắt, sau đó gửi các CGEvents hệ thống để chạm, vuốt và gõ chữ.

Vì sao cần quan tâm: Bạn chẳng cần đến Xcode, WebDriverAgent hay jailbreak để tự động hóa công việc trên điện thoại nữa. Vì AI dùng trực tiếp cửa sổ phản chiếu màn hình làm giao diện, agent có thể chạy ứng dụng iOS thật ngay từ terminal trên Mac mà không cần cài thêm bất kỳ phần mềm hỗ trợ nào lên iPhone.

Cần biết thêm: Khi cài đặt, bạn cần cấp hai quyền cho terminal trên Mac: Screen Recording để xem cửa sổ và Accessibility để gửi thao tác chạm. Công cụ cũng có những giới hạn rõ ràng: mở khóa iPhone thủ công sẽ làm dừng phiên chạy, video có bản quyền DRM sẽ bị đen màn hình, và OCR không đọc được các icon không có nhãn nếu không dùng thêm vision model. Dù vậy, mã nguồn cốt lõi lại cực kỳ gọn nhẹ, chỉ khoảng 500 dòng Python.

Chiếc iPhone của bạn vừa biến thành một cửa sổ terminal nữa để chạy script.