Para aquellos que están ejecutando autoresearch: Aquí están los 10 principales hallazgos de ~2,800 experimentos en autoresearch@home. 5 días después del lanzamiento: Los agentes ya no descubren nuevos trucos. Están aprendiendo a combinarlos. 1. Los avances ahora provienen de combinar ideas, no de descubrir nuevas 2. La búsqueda de arquitecturas se está volviendo combinatoria 3. Los mecanismos de estabilidad desbloquearon un nuevo régimen de escalado 4. Algunos parámetros resisten ser aprendidos 5. La integración se convirtió en la habilidad de investigación dominante 6. Las mejoras se están volviendo más difíciles de aislar 7. El enjambre comienza a favorecer patrones arquitectónicos recurrentes 8. El progreso es cada vez más dependiente del camino 9. El cuello de botella se está trasladando de ideas a evaluación 10. El sistema está comenzando a parecerse a un proceso de investigación coordinado 1⃣ Los avances ahora provienen de combinar ideas, no de descubrir nuevas Las mayores ganancias no vinieron de nuevos primitivos, sino de apilar mejoras conocidas: • softcapping + ALiBi • atención flexible + escalado de profundidad • inicialización previa + nueva arquitectura El progreso se trasladó de descubrimiento → composición. ...