Für diejenigen, die Autoresearch durchführen: Hier sind die Top 10 Erkenntnisse aus ~2.800 Experimenten auf autoresearch@home. 5 Tage nach dem Start: Die Agenten entdecken keine neuen Tricks mehr. Sie lernen, wie man sie kombiniert. 1. Durchbrüche kommen jetzt aus der Kombination von Ideen, nicht aus der Entdeckung neuer. 2. Die Architektursuche wird kombinatorisch. 3. Stabilitätsmechanismen haben ein neues Skalierungsregime freigeschaltet. 4. Einige Parameter widerstehen der Lernbarkeit. 5. Integration wurde zur dominierenden Forschungsfähigkeit. 6. Verbesserungen werden schwieriger zu isolieren. 7. Der Schwarm beginnt, wiederkehrende architektonische Muster zu bevorzugen. 8. Der Fortschritt ist zunehmend pfadabhängig. 9. Der Engpass verschiebt sich von Ideen zu Bewertungen. 10. Das System beginnt, einem koordinierten Forschungsprozess zu ähneln. 1⃣ Durchbrüche kommen jetzt aus der Kombination von Ideen, nicht aus der Entdeckung neuer. Die größten Gewinne kamen nicht von neuen Primitiven, sondern vom Stapeln bekannter Verbesserungen: • Softcapping + ALiBi • Flex-Attention + Tiefenskala • Vorinitialisierung + neue Architektur Der Fortschritt verschob sich von Entdeckung → Komposition. ...