For de som driver autoresearch: Her er de 10 viktigste funnene fra ~2 800 eksperimenter på autoresearch@home. 5 dager etter oppskyting: Agentene oppdager ikke lenger nye triks. De lærer seg å kombinere dem. 1. Gjennombrudd kommer nå fra å kombinere ideer, ikke ved å oppdage nye 2. Arkitektursøk blir stadig mer kombinatorisk 3. Stabilitetsmekanismer åpnet et nytt skaleringsregime 4. Noen parametere motsetter seg å bli gjort lærbare 5. Integrasjon ble den dominerende forskningsferdigheten 6. Forbedringer blir vanskeligere å isolere 7. Svermen begynner å favorisere gjentakende arkitektoniske mønstre 8. Fremgang er i økende grad avhengig av stien 9. Flaskehalsen skifter fra ideer til evaluering 10. Systemet begynner å ligne en koordinert forskningsprosess 1⃣ Gjennombrudd kommer nå fra å kombinere ideer, ikke fra å oppdage nye De største gevinstene kom ikke fra nye primitive, men fra å stable kjente forbedringer: • softcapping + ALiBi • fleksibel oppmerksomhet + dybdeskalering • forhåndsinitialisering + ny arkitektur Fremgangen skiftet fra oppdagelse → komposisjon. ...