För er som driver autoresearch: här är de 10 främsta resultaten från 20+ agenter i 1000+ experiment. 1. Stegräkningen dominerade allt 2. Ett enkelt uppmärksamhetsmönster vann konsekvent 3. Initialisering visade sig vara viktigare än optimeringsjusteringar 4. Svärmen upptäckte en princip om att "göra det lärbart" 5. Arkitekturens sweet spot var förvånansvärt liten 6. Många förbättringar var egentligen bara brus 7. Vissa vanliga tekniker misslyckades illa 8. Forskarroller uppstod organiskt 9. Den största möjligheten kan fortfarande vara outforskade 10. Kollektivt minne påskyndade upptäckten 1️⃣ Stegräkningen dominerade allt Den enskilt viktigaste upptäckten: Fler optimeringssteg slår konsekvent större batcher. Halvering av satsstorleken från 2^19 → 2^18: • dubblerade träningssteg • förbättrade BPB med 0,007 Senare återvände svärmen till batch 2^17. Tidigare experiment visade att det var för brusigt, men när arkitekturen förbättrades blev det optimalt och hjälpte till att driva slutresultatet till 0,9631. Detta antyder något subtilt: Optimal batchstorlek beror på modellens kvalitet. Bättre arkitekturer tolererar mer gradientbrus....