Cách Databricks giảm 70% chi phí dùng AI viết code

Cấp trợ lý AI viết code cho mọi engineer thì tốn tiền rất nhanh, nhưng Databricks đã tìm ra cách siết lại hóa đơn.

Databricks vừa chia sẻ bí quyết giúp họ cắt giảm 70% chi phí AI viết code nội bộ, dù vẫn mở rộng quyền truy cập cho thêm dev. Mẹo ở đây là nhắm vào "ngưỡng hiệu quả" (efficiency frontier) — thay các model đắt đỏ bằng phương án rẻ hơn nhưng vẫn qua bài test chất lượng cho tác vụ hàng ngày. Thử nghiệm nội bộ cho thấy các model GLM có P/P (hiệu năng/giá thành) rất tốt, nên họ quyết định triển khai toàn công ty. Ở chiều ngược lại, Stripe đã bỏ qua đợt nâng cấp lên Opus 4.7 sau khi đánh giá cho thấy tốn tiền hơn nhưng chất lượng chẳng nhỉnh hơn Opus 4.6.

Vì sao cần quan tâm: Công cụ AI giúp tăng năng suất lập trình, nhưng chi phí API thả phanh sẽ ngốn sạch phần lợi nhuận tăng thêm đó. Các công ty công nghệ như Coinbase, Ramp và Uber đều đang áp dụng chung một giải pháp: tách biệt giao diện của dev khỏi nhà cung cấp phía sau, để request tự động chuyển tới model nào có chi phí tốt nhất cho việc đó.

Thử ngay / Cần biết: Databricks đã mở mã nguồn bộ công cụ nội bộ này. Bạn có thể dùng Omnigent (meta-harness dành cho dev của họ) và Unity AI Gateway để xử lý việc chuyển đổi model và điều hướng request ngầm bên dưới.

Cách nhanh nhất để hạ hóa đơn AI không phải là ngồi chờ model flagship giảm giá — mà là dùng model nhẹ hơn bất cứ khi nào nó gánh được việc.