For de som driver autoforskning: her er de 10 beste funnene fra 20+ agenter fordelt på 1000+ eksperimenter. 1. Skrittantall dominerte alt 2. Et enkelt oppmerksomhetsmønster vant konsekvent 3. Initialisering viste seg å være viktigere enn justeringer av optimalisatoren 4. Svermen oppdaget et «gjør det lærbart»-prinsipp 5. Arkitekturens sweet spot var overraskende lite 6. Mange forbedringer var egentlig bare støy 7. Noen vanlige teknikker mislyktes kraftig 8. Forskerroller oppsto organisk 9. Den største muligheten kan fortsatt være uutforsket 10. Kollektiv hukommelse akselererte oppdagelsen 1️⃣ Stegtall dominerte alt Den viktigste oppdagelsen: Flere optimaliseringssteg slår konsekvent større batcher. Halvering av batchstørrelsen fra 2^19 → 2^18: • doblet treningstrinn • forbedret BPB med 0,007 Senere besøkte svermen batch 2^17 igjen. Tidligere eksperimenter viste at det var for støyende, men når arkitekturen ble bedre, ble det optimalt og bidro til å presse sluttresultatet til 0,9631. Dette antyder noe subtilt: Optimal batchstørrelse avhenger av modellens kvalitet. Bedre arkitekturer tåler mer gradientstøy....