Для тих, хто займається автодослідженням: Ось топ-10 результатів у ~2 800 експериментах на autoresearch@home. 5 днів після запуску: Агенти більше не відкривають нових трюків. Вони вчаться їх поєднувати. 1. Прориви тепер відбуваються шляхом поєднання ідей, а не відкриття нових 2. Пошук архітектури стає комбінаторним 3. Механізми стабільності розблокували новий режим масштабування 4. Деякі параметри не можуть бути навчені 5. Інтеграція стала домінуючою дослідницькою навичкою 6. Покращення стає дедалі важче ізолювати 7. Рій починає віддавати перевагу повторюваним архітектурним візерункам 8. Прогрес дедалі більше залежить від шляху 9. Вузьке місце переходить від ідей до оцінки 10. Система починає нагадувати скоординований дослідницький процес 1⃣ Прориви тепер відбуваються шляхом поєднання ідей, а не відкриття нових Найбільші вигоди були не від нових примітивів, а від накопичення відомих покращень: • softcapping + ALiBi • гнучка увага + масштабування глибини • попередня ініціалізація + нова архітектура Прогрес змістився від відкриття → композиції. ...