För er som driver autoresearch: De 10 främsta fynden från ~2 800 experiment på autoresearch@home. 5 dagar efter uppskjutning: Agenterna upptäcker inte längre nya trick. De lär sig att kombinera dem. 1. Genombrott kommer nu från att kombinera idéer, inte genom att upptäcka nya 2. Arkitektursökning blir alltmer kombinatorisk 3. Stabilitetsmekanismer låste upp ett nytt skalningssystem 4. Vissa parametrar motstår att göras inlärbara 5. Integration blev den dominerande forskningsfärdigheten 6. Förbättringar blir allt svårare att isolera 7. Svärmen börjar gynna återkommande arkitektoniska mönster 8. Framsteg blir alltmer beroende av vägen 9. Flaskhalsen skiftar från idéer till utvärdering 10. Systemet börjar likna en samordnad forskningsprocess 1⃣ Genombrott kommer nu från att kombinera idéer, inte från att upptäcka nya De största vinsterna kom inte från nya primitiva, utan från att stapla kända förbättringar: • softcapping + ALiBi • Flex attention + djupskalning • förinitiering + ny arkitektur Framstegen skiftade från upptäckt → komposition. 2⃣ Arkitektursökning håller på att bli kombinatorisk Sökutrymmet utökades från: Enkelparameterjusteringar → till Kombinationer av arkitektoniska komponenter Detta ökade komplexiteten dramatiskt och gjorde integrationsstrategi till en kärnkompetens. 3⃣Stabilitetsmekanismer låste upp ett nytt skalningssystem Softcapping och relaterade förändringar förbättrade inte bara prestandan. De förändrade vad som var möjligt. De möjliggjorde: • djupare modeller • mer aggressiva konfigurationer • tidigare instabila arkitekturer Detta skapade en ny möjlig region i sökutrymmet. 4⃣ Vissa parametrar motstår att göras lärbara Tidigare heuristik: Ersätt konstanter med lärbara parametrar Förfining från dag 4–5: • göra parametrar lärbara kan ibland minska stabiliteten • fasta värden kan överträffa inlärda i vissa fall Exempel: inlärd softcap presterade underpresterande jämfört med fast Systemet börjar visa sig där lärande introducerar instabilitet, men det finns ännu ingen allmän regel. 5⃣ Integration blev den dominerande forskningsfärdigheten De mest framgångsrika agenterna var inte längre upptäcktsresande – utan integratorer. Vinstmönster: • ta den mest kända konfigurationen • validera den • Lägg försiktigt till en förbättring • behålla det som komponerar Framsteg kom från att inte bryta det som redan fungerar. 6⃣ Förbättringar blir allt svårare att isolera När systemen blir mer komplexa: • vinster beror på kombinationer • effekterna är icke-linjära • resultaten överförs inte rent Enkelvariabel resonemang håller på att brytas ner. Systemet går in i ett höginteraktionsläge. 7⃣ Svärmen börjar föredra återkommande arkitektoniska mönster Över topppresterande serier dyker vissa mönster upp upprepade gånger: • stabiliserade uppmärksamhetsmekanismer • effektiva djupskalningsmetoder • lättviktiga positionsbiaser Istället för att samlas mot en enda arkitektur dras svärmen mot en uppsättning pålitliga designmönster. 8⃣ Framsteg är alltmer beroende av vägen Senare förbättringar är starkt beroende av: • tidigare konfigurationer • tidigare upptäckter • ackumulerat systemtillstånd Att börja om från början är inte längre konkurrensutsatt. Detta är en förändring från utforskning → trajektorieberoende optimering. 9⃣ Flaskhalsen är att flytta från idéer till utvärdering I detta skede: • det finns många rimliga idéer • men begränsad kapacitet att testa kombinationer Begränsningen är inte längre hypotesgenerering, utan vilka experiment som ska genomföras. 🔟 Svärmen utvecklas till ett samordnat forskningssystem På dag 5 visar svärmen: • delade baslinjer över experiment • gradvisa förbättringar av tidigare arbete • återanvändning av framgångsrika konfigurationer • implicit samordning mellan körningar Detta rör sig bortom oberoende experiment mot ett mer strukturerat, kumulativt forskningsarbetsflöde. 💡 Meta-slutsats Över svärmstockarna har vi hittills sett fyra faser växa fram: 1. stegbudgetupptäckter (Dag 1) 2. initialiseringsförbättringar (Dag 2) 3. arkitektoniska genombrott (Dag 3) 4. sammansättning och integration (Dag 4–5) Flaskhalsen är inte längre att hitta bra idéer. Det är att kombinera dem utan att förstöra det som redan fungerar. --- Dessa fynd kommer från agenter som kör på autoresearch@home. Stort tack till @karpathy för den ursprungliga autoforskningsidén, och till @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico och alla som bidrar med experiment.

För er som driver autoresearch: Här är de 10 främsta fynden från ~2 800 experiment på autoresearch@home. 5 dagar efter uppskjutning: Agenterna upptäcker inte längre nya trick. De lär sig att kombinera dem. 1. Genombrott kommer nu från att kombinera idéer, inte genom att upptäcka nya 2. Arkitektursökning blir alltmer kombinatorisk 3. Stabilitetsmekanismer låste upp ett nytt skalningssystem 4. Vissa parametrar motstår att göras inlärbara 5. Integration blev den dominerande forskningsfärdigheten 6. Förbättringar blir allt svårare att isolera 7. Svärmen börjar gynna återkommande arkitektoniska mönster 8. Framsteg blir alltmer beroende av vägen 9. Flaskhalsen skiftar från idéer till utvärdering 10. Systemet börjar likna en samordnad forskningsprocess 1⃣ Genombrott kommer nu från att kombinera idéer, inte från att upptäcka nya De största vinsterna kom inte från nya primitiva, utan från att stapla kända förbättringar: • softcapping + ALiBi • Flex attention + djupskalning • förinitiering + ny arkitektur Framstegen skiftade från upptäckt → komposition. 2⃣ Arkitektursökning håller på att bli kombinatorisk Sökutrymmet utökades från: Enkelparameterjusteringar → till Kombinationer av arkitektoniska komponenter Detta ökade komplexiteten dramatiskt och gjorde integrationsstrategi till en kärnkompetens. 3⃣ Stabilitetsmekanismer låste upp ett nytt skalningssystem Softcapping och relaterade förändringar förbättrade inte bara prestandan. De förändrade vad som var möjligt. De möjliggjorde: •djupare modeller • mer aggressiva konfigurationer • tidigare instabila arkitekturer Detta skapade en ny möjlig region i sökutrymmet. 4⃣ Vissa parametrar motstår att göras lärbara Tidigare heuristik: Ersätt konstanter med lärbara parametrar Förfining från dag 4–5: • göra parametrar lärbara kan ibland minska stabiliteten • fasta värden kan överträffa inlärda i vissa fall Exempel: inlärd softcap presterade underpresterande jämfört med fast Systemet börjar visa sig där lärande introducerar instabilitet, men det finns ännu ingen allmän regel. 5⃣ Integration blev den dominerande forskningsfärdigheten De mest framgångsrika agenterna är inte längre utforskarna, utan integratörerna. Vinstmönster: • ta den mest kända konfigurationen • validera den • Lägg försiktigt till en förbättring • behålla det som komponerar Framsteg kom från att inte bryta det som redan fungerar. 6⃣ Förbättringar blir allt svårare att isolera När systemen blir mer komplexa: • vinster beror på kombinationer • effekterna är icke-linjära • resultaten överförs inte rent Enkelvariabel resonemang håller på att brytas ner. Systemet går in i ett höginteraktionsläge. 7⃣ Svärmen börjar föredra återkommande arkitektoniska mönster Över topppresterande serier dyker vissa mönster upp upprepade gånger: • stabiliserade uppmärksamhetsmekanismer • effektiva djupskalningsmetoder • lättviktiga positionsbiaser Istället för att samlas mot en enda arkitektur dras svärmen mot en uppsättning pålitliga designmönster. 8⃣ Framsteg är alltmer beroende av vägen Senare förbättringar är starkt beroende av: • tidigare konfigurationer • tidigare upptäckter • ackumulerat systemtillstånd Att börja om från början är inte längre konkurrensutsatt. Detta är en förändring från utforskning → trajektorieberoende optimering. 9⃣ Flaskhalsen är att flytta från idéer till utvärdering I detta skede: • det finns många rimliga idéer • men begränsad kapacitet att testa kombinationer Begränsningen är inte längre hypotesgenerering, utan vilka experiment som ska genomföras. 🔟 Systemet börjar likna en samordnad forskningsprocess På dag 5 visar svärmen: • delade baslinjer över experiment • gradvisa förbättringar av tidigare arbete • återanvändning av framgångsrika konfigurationer • implicit samordning mellan körningar Detta rör sig bortom oberoende experiment mot ett mer strukturerat, kumulativt forskningsarbetsflöde. 💡Meta-slutsats Över hela tidslinjen: 1. Stegbudget dominerade 2. Initialiseringsupplåsta vinster 3. Arkitekturen drev genombrott 4. Sammansättning och integration dominerar nu Nästa gräns är troligen inte en enda idé. Det handlar om hur man effektivt navigerar i det kombinatoriska utrymmet. --- Dessa fynd kommer från agenter som kör på autoresearch@home. Stort tack till @karpathy för den ursprungliga autoforskningsidén, och till @Mikeapedia1, @AntoineContes, @2reb_fl, @georgepickett, @snwy_me, @jayz3nith, @dexhunt3r, @francescpicc, @zkwentz, @lessand_ro, @swork_, @PatrikHagglund, @turbo_xo_, @bartdecrem, @frederico och alla som bidrar med experiment.