Soi bên trong mô hình Transformer theo từng token

Giờ bạn có thể xem trực tiếp cách một mô hình AI tính toán từ tiếp theo.

Transformer Explainer là một công cụ trực quan hóa tương tác cho bạn thấy cách các mô hình Transformer xử lý văn bản. Dựa trên bản GPT-2 (small) với 124 triệu tham số, công cụ này cho phép bạn nhập prompt và theo dõi dữ liệu chạy qua toàn bộ kiến trúc. Công cụ vừa gây chú ý trên Hacker News với 178 điểm.

Tại sao lại đáng chú ý: Các mô hình hàng đầu như GPT của OpenAI, Llama của Meta và Gemini của Google đều dùng chung một kiến trúc Transformer. Việc thấy một mô hình nhỏ xử lý các vector qua từng block bên trong giúp những khái niệm phức tạp như self-attention hay positional encoding trở nên dễ hiểu chỉ trong vài giây.

Tóm gọn cách công cụ này bóc tách quy trình:

• Embedding: Tách văn bản thành các token từ bộ từ vựng 50.257 từ, ánh xạ sang vector 768 chiều và thêm positional encoding.
• 12 Transformer Block: Dùng self-attention để chia sẻ ngữ cảnh giữa các token, rồi dùng các lớp feed-forward để tinh chỉnh từng token.
• Output Probabilities: Chuyển đổi embedding đã xử lý thành xác suất dự đoán token cuối cùng.

Hóa ra mạng neural chẳng phải hộp đen kỳ bí, chỉ là toán học có cấu trúc chạy theo trình tự thôi.