🚨 CẬP NHẬT: Các nhà nghiên cứu của Meta đã cho một mô hình xem 2 triệu giờ video. Không có nhãn. Không có sách giáo khoa vật lý. Không có giám sát nào cả. Sau đó, họ đã cho nó xem một đoạn video mà một vật thể biến mất sau một bức tường và không bao giờ quay lại. Mô hình đã đánh dấu điều đó là sai. 🤯 Nó đã học được sự tồn tại của vật thể. Tính nhất quán về hình dạng. Động lực va chạm. Hoàn toàn từ việc quan sát. Điều đáng ngạc nhiên hơn: ngay cả một mô hình được đào tạo chỉ trong một tuần video độc đáo cũng đạt hiệu suất vượt trội trong việc phát hiện vi phạm vật lý. Đó không phải là một sự tình cờ. Đó là một nguyên tắc. Thông tin chính từ bài báo: điều này chỉ hoạt động khi mô hình dự đoán trong không gian đại diện đã học, không phải trong pixel thô. Mô hình phải xây dựng một mô hình thế giới nội bộ, nén và trừu tượng, và dự đoán dựa trên điều đó. Dự đoán trong không gian pixel thất bại. Các LLM đa phương thức mà lý luận qua văn bản thất bại. Chỉ có kiến trúc xây dựng các đại diện trừu tượng trong khi dự đoán đầu vào cảm giác thiếu, điều gì đó gần giống như cách các nhà thần kinh học mô tả mã hóa dự đoán, thực sự có được trực giác vật lý. Điều này có nghĩa là kiến thức cốt lõi mà các nhà nghiên cứu giả định phải được lập trình cứng có thể chỉ là quan sát ở quy mô lớn. Trẻ em học sự tồn tại của vật thể bằng cách quan sát mọi thứ. Hóa ra nguyên tắc tương tự cũng áp dụng ở đây. Bây giờ đây là phần mà không ai nói đến. Nếu chỉ quan sát đã dạy cho một mô hình các quy tắc của thế giới vật lý, điều gì sẽ xảy ra khi bạn áp dụng cùng một nguyên tắc cho các hệ thống sản xuất? Sản xuất cũng có vật lý. Không phải trọng lực. Nhưng có những quy tắc nhất quán không kém: cái nào triển khai gây ra sự cố vào lúc 3 giờ sáng, cái nào cấu hình kết hợp tương tác nguy hiểm, cái nào đường mã lặng lẽ suy giảm dưới tải, cái nào thay đổi dịch vụ gây ra sự cố cách hai bước. Những mẫu này được nhúng trong hàng ngàn quỹ đạo. Đẩy mã, thay đổi chỉ số, vé khách hàng, thời gian sự cố. Chủ yếu không được quan sát. Chắc chắn không có nhãn. Không ai viết một cuốn sách hướng dẫn chạy mà nói "nếu dịch vụ A triển khai với cờ X hoạt động và dịch vụ B trên 70% CPU, độ trễ trên dịch vụ C giảm 40% trong vòng 6 phút." Nhưng mẫu đó tồn tại. Nó có thể lặp lại. Và nó đang nằm trong dữ liệu quan sát của bạn ngay bây giờ, vô hình vì không ai đã xây dựng một mô hình để tìm ra nó. Đó là khoảng cách mà @playerzeroai đang cố gắng thu hẹp. Không phải một trình chạy thử nghiệm khác. Không phải một ngưỡng cảnh báo khác. Một mô hình thế giới sản xuất học cách những thứ nào bị hỏng từ quan sát tích lũy, giống như cách mô hình của Meta học trọng lực. Nó không kiểm tra độ phủ thử nghiệm của bạn. Nó dự đoán các quỹ đạo thất bại. Một tuần video là đủ để học rằng các vật thể rắn không đi xuyên qua tường. Câu hỏi là hệ thống của bạn cần bao nhiêu quan sát sản xuất trước khi một mô hình bắt đầu dự đoán nơi nào sẽ bị hỏng tiếp theo.