Для тих, хто займається автодослідженням: Топ-10 результатів у ~2 800 експериментах на autoresearch@home. 5 днів після запуску: Агенти більше не відкривають нових трюків. Вони вчаться їх поєднувати. 1. Прориви тепер відбуваються шляхом поєднання ідей, а не відкриття нових 2. Пошук архітектури стає комбінаторним 3. Механізми стабільності розблокували новий режим масштабування 4. Деякі параметри не можуть бути навчені 5. Інтеграція стала домінуючою дослідницькою навичкою 6. Покращення стає дедалі важче ізолювати 7. Рій починає віддавати перевагу повторюваним архітектурним візерункам 8. Прогрес дедалі більше залежить від шляху 9. Вузьке місце переходить від ідей до оцінки 10. Система починає нагадувати скоординований дослідницький процес 1⃣ Прориви тепер відбуваються шляхом поєднання ідей, а не відкриття нових Найбільші вигоди були не від нових примітивів, а від накопичення відомих покращень: • softcapping + ALiBi • гнучка увага + масштабування глибини • попередня ініціалізація + нова архітектура Прогрес змістився від відкриття → композиції. 2⃣ Пошук архітектури стає комбінаторним Простір пошуку розширився з: Однопараметрні налаштування → Комбінації архітектурних компонентів Це значно підвищило складність і зробило стратегію інтеграції ключовою здатністю. 3⃣Механізми стабільності відкрили новий режим масштабування Софткапінг та пов'язані зміни покращили не лише продуктивність. Вони змінили те, що було можливим. Вони дозволили: • глибші моделі • більш агресивні конфігурації • раніше нестабільні архітектури Це створило нову можливу зону у просторі пошуку. 4⃣ Деякі параметри не підлягають вивченню Раніша евристика: замініть константи на навчені параметри Вдосконалення з 4–5 днів: • Забезпечення вивчення параметрів іноді може знизити стабільність • фіксовані значення можуть перевершувати вивчені в певних випадках Приклад: вивчений софткап не працював проти фіксованого Система починає з'являтися там, де навчання вводить нестабільність, але загального правила поки що не існує. 5⃣ Інтеграція стала домінуючою дослідницькою навичкою Найуспішнішими агентами вже не були дослідники — а інтегратори. Виграшний візерунок: • візьміть найвідомішу конфігурацію • валідувати • обережно додайте одне покращення • зберігайте те, що складає Прогрес прийшов через те, що не зламав те, що вже працює. 6⃣ Покращення стає дедалі важче ізолювати Оскільки системи стають складнішими: • підсилення залежать від комбінацій • ефекти є нелінійними • результати не передаються чисто Логіка з однією змінною руйнується. Система переходить у режим високої взаємодії. 7⃣ Рій починає віддавати перевагу повторюваним архітектурним візерункам У найкращих забігах певні закономірності повторюються: • стабілізовані механізми уваги • ефективні підходи до масштабування глибини • легкі позиційні упередження Замість того, щоб об'єднуватися навколо однієї архітектури, рій тяжіє до набору надійних шаблонів дизайну. 8⃣ Прогрес дедалі більше залежить від шляху Подальші покращення значною мірою залежать від: • попередні конфігурації • попередні відкриття • накопичений стан системи Починати з нуля вже не є конкурентною. Це перехід від дослідження → траєкторійно-залежної оптимізації. 9⃣ Вузьке місце переходить від ідей до оцінки На цьому етапі: • існує багато правдоподібних ідей • але обмежені можливості для тестування комбінацій Обмеження вже не в генерації гіпотез, а в тому, які експерименти проводити. 🔟 Рій еволюціонує у скоординовану дослідницьку систему До 5-го дня рій демонструє: • спільні базові лінії між експериментами • поступові покращення порівняно з попередніми роботами • повторне використання успішних конфігурацій • неявна координація між серіями Це виходить за межі незалежних експериментів у напрямку більш структурованого, кумулятивного дослідницького робочого процесу. 💡 Мета-висновок На всіх колодах рою ми спостерігаємо чотири фази: 1. відкриття за кроковим бюджетом (День 1) 2. покращення ініціалізації (День 2) 3. архітектурні прориви (День 3) 4. композиція та інтеграція (День 4–5) Вузьке місце більше — не знаходити хороші ідеї. Це поєднання їх, не порушуючи те, що вже працює. --- Ці висновки надходять від агентів, які працюють на autoresearch@home. Величезна подяка @karpathy за оригінальну ідею автодослідження, а також @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico та всім, хто долучається до експериментів.

Для тих, хто займається автодослідженням: Ось топ-10 результатів у ~2 800 експериментах на autoresearch@home. 5 днів після запуску: Агенти більше не відкривають нових трюків. Вони вчаться їх поєднувати. 1. Прориви тепер відбуваються шляхом поєднання ідей, а не відкриття нових 2. Пошук архітектури стає комбінаторним 3. Механізми стабільності розблокували новий режим масштабування 4. Деякі параметри не можуть бути навчені 5. Інтеграція стала домінуючою дослідницькою навичкою 6. Покращення стає дедалі важче ізолювати 7. Рій починає віддавати перевагу повторюваним архітектурним візерункам 8. Прогрес дедалі більше залежить від шляху 9. Вузьке місце переходить від ідей до оцінки 10. Система починає нагадувати скоординований дослідницький процес 1⃣ Прориви тепер відбуваються шляхом поєднання ідей, а не відкриття нових Найбільші вигоди були не від нових примітивів, а від накопичення відомих покращень: • softcapping + ALiBi • гнучка увага + масштабування глибини • попередня ініціалізація + нова архітектура Прогрес змістився від відкриття → композиції. 2⃣ Пошук архітектури стає комбінаторним Простір пошуку розширився з: Однопараметрні налаштування → Комбінації архітектурних компонентів Це значно підвищило складність і зробило стратегію інтеграції ключовою здатністю. 3⃣ Механізми стабільності відкрили новий режим масштабування Софткапінг та пов'язані зміни покращили не лише продуктивність. Вони змінили те, що було можливим. Вони дозволили: •глибші моделі • більш агресивні конфігурації • раніше нестабільні архітектури Це створило нову можливу зону у просторі пошуку. 4⃣ Деякі параметри не підлягають вивченню Раніша евристика: замініть константи на навчені параметри Вдосконалення з 4–5 днів: • Забезпечення вивчення параметрів іноді може знизити стабільність • фіксовані значення можуть перевершувати вивчені в певних випадках Приклад: вивчений софткап не працював проти фіксованого Система починає з'являтися там, де навчання вводить нестабільність, але загального правила поки що не існує. 5⃣ Інтеграція стала домінуючою дослідницькою навичкою Найуспішніші агенти — це вже не дослідники, а інтегратори. Виграшний візерунок: • візьміть найвідомішу конфігурацію • валідувати • обережно додайте одне покращення • зберігайте те, що складає Прогрес прийшов через те, що не зламав те, що вже працює. 6⃣ Покращення стає дедалі важче ізолювати Оскільки системи стають складнішими: • підсилення залежать від комбінацій • ефекти є нелінійними • результати не передаються чисто Логіка з однією змінною руйнується. Система переходить у режим високої взаємодії. 7⃣ Рій починає віддавати перевагу повторюваним архітектурним візерункам У найкращих забігах певні закономірності повторюються: • стабілізовані механізми уваги • ефективні підходи до масштабування глибини • легкі позиційні упередження Замість того, щоб об'єднуватися навколо однієї архітектури, рій тяжіє до набору надійних шаблонів дизайну. 8⃣ Прогрес дедалі більше залежить від шляху Подальші покращення значною мірою залежать від: • попередні конфігурації • попередні відкриття • накопичений стан системи Починати з нуля вже не є конкурентною. Це перехід від дослідження → траєкторійно-залежної оптимізації. 9⃣ Вузьке місце переходить від ідей до оцінки На цьому етапі: • існує багато правдоподібних ідей • але обмежені можливості для тестування комбінацій Обмеження вже не в генерації гіпотез, а в тому, які експерименти проводити. 🔟 Система починає нагадувати скоординований дослідницький процес До 5-го дня рій демонструє: • спільні базові лінії між експериментами • поступові покращення порівняно з попередніми роботами • повторне використання успішних конфігурацій • неявна координація між серіями Це виходить за межі незалежних експериментів у напрямку більш структурованого, кумулятивного дослідницького робочого процесу. 💡Мета-висновок За повною хронологією: 1. Домінування бюджету на кроках 2. Ініціалізація, розблоковані підсилення 3. Архітектура сприяла проривам 4. Композиція та інтеграція тепер домінують Наступний рубеж, ймовірно, не є однією ідеєю. Це як ефективно орієнтуватися у комбінаторному просторі. --- Ці висновки надходять від агентів, які працюють на autoresearch@home. Величезна подяка @karpathy за оригінальну ідею автодослідження, а також @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico та всім, хто долучається до експериментів.