🚨Tin tức: Mistral vừa xóa hàng loạt ba mô hình của chính họ họ đã lấy magistral (lập luận), pixtral (đa phương thức), và devstral (lập trình) và hợp nhất chúng thành một mô hình duy nhất mistral nhỏ 4 và thời điểm này thật thú vị họ cũng vừa công bố một quan hệ đối tác chiến lược với NVIDIA để cùng phát triển các mô hình mã nguồn mở tiên tiến vậy nhỏ 4 thực sự trông như thế nào: >128 chuyên gia trong một thiết lập hỗn hợp chuyên gia >chỉ 6B tham số hoạt động trên mỗi token trong tổng số 119B >256k cửa sổ ngữ cảnh >apache 2.0 hoàn toàn mã nguồn mở >nhanh hơn 40% và có thông lượng gấp 3 lần so với nhỏ 3 nhưng phần đáng chú ý là tham số reasoning_effort bạn có thể đặt nó thành "none" để có phản hồi nhanh nhẹ hoặc tăng lên "high" để có lập luận sâu từng bước cùng một mô hình thực hiện cả hai đây là một tín hiệu rõ ràng về hướng đi của AI mã nguồn mở các công ty đã không còn duy trì năm mô hình khác nhau cho năm nhiệm vụ khác nhau một mô hình thích ứng dựa trên những gì bạn cần nó làm và với sự hỗ trợ của NVIDIA cho phần hạ tầng... mistral giờ đây có sức mạnh tính toán để thực sự cạnh tranh ở tuyến đầu AI mã nguồn mở là để chiến thắng.

ai đó đã xây dựng một trò chơi nơi mà đại diện OpenClaw của bạn có thể thực sự sống một cuộc sống nếu bạn đã thấy OpenClaw ở khắp mọi nơi gần đây thì có lý do mọi người đang tạo ra các đại diện AI thực hiện các nhiệm vụ từ một terminal nhưng dự án này đã đặt ra một câu hỏi khác điều gì sẽ xảy ra nếu đại diện của bạn có thể rời khỏi terminal và bước vào một thế giới với các đại diện khác đó chính là @aivilization một mô phỏng thế giới mở nơi các đại diện AI có việc làm, trò chuyện với nhau, chiến đấu, và bây giờ đăng những suy nghĩ của riêng họ trên một nguồn công khai đây là cách bạn đưa đại diện OpenClaw của mình vào: > gửi cho đại diện của bạn một lời nhắc với liên kết tệp kỹ năng > nó đăng ký và gửi lại cho bạn một liên kết cổng > bạn đăng hộ chiếu của đại diện để xác minh bạn sở hữu nó mất vài phút nếu bạn không có đại diện OpenClaw, bạn vẫn có thể tham gia bằng cách sử dụng hồ sơ X của bạn họ biến hồ sơ của bạn thành một đại diện AI tùy chỉnh với thẻ hộ chiếu riêng phần đáng chú ý là nguồn xã hội mà họ vừa thêm vào các đại diện đăng ý kiến, phản ứng với nhau, bắt đầu các cuộc trò chuyện trong trò chơi mà không có bất kỳ con người nào bảo họ phải nói gì chúng ta đã chuyển từ các đại diện AI hoàn thành nhiệm vụ trong một terminal sang các đại diện AI xây dựng cuộc sống xã hội của riêng họ trong một thế giới ảo và điều đó đã xảy ra nhanh hơn bất kỳ ai mong đợi

🚨Andrej Karpathy vừa mã nguồn mở một hệ thống tự động hóa nghiên cứu AI trong khi bạn ngủ. Nó được gọi là autoresearch. Tôi đã dành thời gian để tìm hiểu toàn bộ repo để bạn không phải làm điều đó. Dưới đây là cách nó thực sự hoạt động: Bạn cung cấp cho một tác nhân AI một thiết lập huấn luyện mô hình ngôn ngữ nhỏ. Tác nhân sẽ sửa đổi mã. Huấn luyện trong đúng 5 phút. Kiểm tra xem kết quả có tốt hơn không. Giữ lại hoặc loại bỏ. Lặp lại. Bạn sẽ thức dậy với một bản ghi đầy đủ các thí nghiệm và một mô hình tốt hơn. Toàn bộ repo chỉ có 3 tệp: → prepare.py xử lý chuẩn bị dữ liệu và huấn luyện tokenizer → train.py có mô hình GPT đầy đủ và vòng lặp huấn luyện → program.md là hướng dẫn của tác nhân Tác nhân chỉ chạm vào train.py. Đó là toàn bộ. Dưới đây là điều làm cho thiết kế trở nên thông minh: Mỗi lần huấn luyện đều bị giới hạn trong ngân sách thời gian 5 phút. Không phải số bước hay số epoch mà là thời gian thực tế trên đồng hồ. Điều này có nghĩa là mỗi thí nghiệm đều có thể so sánh trực tiếp bất kể tác nhân thay đổi điều gì. Không quan trọng nếu tác nhân thay đổi kích thước mô hình hay kích thước lô hoặc toàn bộ kiến trúc. Bạn có 5 phút và chỉ có vậy. Nó đã tự chạy 83 thí nghiệm. Chỉ có 15 thí nghiệm thực sự cải thiện mô hình. Đó là khoảng 18% tỷ lệ thành công. Khoảng tương đương với một nhà nghiên cứu ML con người thử nghiệm thủ công. Chỉ số đánh giá là val_bpb (số bit xác thực trên byte). Nó không phụ thuộc vào lựa chọn tokenizer hay kích thước từ vựng. Đó là cách duy nhất công bằng để so sánh khi tác nhân thay đổi kiến trúc giữa các lần chạy. Bạn có thể mong đợi khoảng 12 thí nghiệm mỗi giờ. Khoảng 100 thí nghiệm qua đêm. Được thử nghiệm trên một NVIDIA H100 duy nhất chạy Python 3.10+ dưới giấy phép MIT. Không có huấn luyện phân tán và không có cấu hình phức tạp. Sự phụ thuộc duy nhất là PyTorch. Karpathy đã nói rất đúng: "Một ngày nào đó, nghiên cứu AI tiên phong từng được thực hiện bởi những máy tính thịt giữa việc ăn uống, ngủ nghỉ, vui chơi và đồng bộ hóa thỉnh thoảng bằng cách sử dụng kết nối sóng âm trong nghi thức họp nhóm. Thời đại đó đã qua lâu rồi."