Bagi mereka yang menjalankan riset otomatis: Berikut adalah 10 temuan teratas di ~2.800 eksperimen di autoresearch@home. 5 hari setelah peluncuran: Para agen tidak lagi menemukan trik baru. Mereka belajar bagaimana menggabungkannya. 1. Terobosan sekarang datang dari menggabungkan ide, bukan menemukan yang baru 2. Pencarian arsitektur menjadi kombinatorial 3. Mekanisme stabilitas membuka rezim penskalaan baru 4. Beberapa parameter menolak untuk dibuat dapat dipelajari 5. Integrasi menjadi keterampilan penelitian yang dominan 6. Perbaikan menjadi lebih sulit untuk diisolasi 7. Kawanan mulai menyukai pola arsitektur yang berulang 8. Kemajuan semakin bergantung pada jalur 9. Kemacetan bergeser dari ide ke evaluasi 10. Sistem mulai menyerupai proses penelitian yang terkoordinasi 1⃣ Terobosan sekarang datang dari menggabungkan ide, bukan menemukan yang baru Keuntungan terbesar tidak berasal dari primitif baru, tetapi dari penumpukan peningkatan yang diketahui: • softcapping + ALiBi • Perhatian fleksibel + penskalaan kedalaman • inisialisasi sebelumnya + arsitektur baru Kemajuan bergeser dari penemuan → komposisi. ...