Ôi vâng. Cuối cùng cũng bắt đầu vào nghiên cứu tự động của @karpathy, đã được điều chỉnh cho kiến trúc transformer đồng nhất. Mô hình nhỏ. 4 lớp × 4 đầu × 256 kích thước ≈ ~5 triệu tham số, đào tạo ở 128, đánh giá ở 1024. Không có đầu chú ý softmax. Được thay thế bằng lưới dao động. Tất cả việc tạo ra được thực hiện ở một lớp trên transformer trong một lưới cộng hưởng thuần túy, điều khiển việc tạo token. Học liên tục lý thuyết và ngữ cảnh vô hạn vì không có bộ nhớ KV. Chỉ là một kho chứa các chế độ khóa pha từ các token kết hợp đồng nhất.