Google Search ẩn link kết quả sau các đường dẫn redirect mã hóa

Việc cào dữ liệu Google Search vừa trở nên tốn kém hơn rất nhiều.

Google đang đổi toàn bộ link tìm kiếm tự nhiên sang dạng google.com/goto?url=... thay vì để lộ URL đích trực tiếp trong HTML. Tham số trong link dùng một kiểu mã hóa riêng của Google—không phải base64 thông thường—đóng vai trò như một mã tham chiếu nội bộ. Theo Autom (bên cung cấp công cụ scraper), dạng link mới này đã xuất hiện liên tục trên các phiên duyệt web ẩn danh hoặc chưa đăng nhập.

Vì sao lại quan trọng: Trước đây, các script cào dữ liệu chỉ cần đọc HTML của một trang là hốt được hàng ngàn URL đích mà không cần đụng lại Google. Giờ thì mỗi kết quả đều bắt crawler phải gửi thêm một request ngược về Google chỉ để đọc header Location. Việc này vừa làm chậm crawler, vừa tạo dấu vết rõ ràng để Google phát hiện và chặn các bot đang giải mã link hàng loạt.

Nếu bạn đang làm việc với dữ liệu tìm kiếm, không cần phải chạy hết cả chuỗi redirect. Chỉ cần gửi một request HEAD tới link google.com/goto và bóc luôn URL đích ra từ header Location.

Google lại siết thêm một vòng vặn ốc với các bot tự động, lần này là bằng cách ghi lại link kết quả.