Hace tres días dejé el nanochat de autoresearch ajustando durante ~2 días en depth=12 modelo. Encontró ~20 cambios que mejoraron la pérdida de validación. Probé estos cambios ayer y todos fueron aditivos y se trasladaron a modelos más grandes (profundidad=24). Sumando todos estos cambios, hoy he medido que el "Tiempo para GPT-2" en la clasificación baja de 2,02 horas a 1,80 horas (~11% de mejora), esta será la nueva entrada en la clasificación. Así que sí, son mejoras reales y realmente marcan la diferencia. Me sorprende un poco que mi primer intento ingenuo ya haya funcionado tan bien encima de lo que pensaba que era un proyecto bastante bien ajustado manualmente. Esto es una novedad para mí porque estoy muy acostumbrado a hacer manualmente la optimización iterativa del entrenamiento de redes neuronales. Se te ocurren ideas, las implementas, compruebas si funcionan (mejor pérdida de validación), creas nuevas ideas basadas en eso, lees algunos artículos para inspirarte, etcétera. Esto es el pan de cada día de lo que hago a diario durante dos décadas. Ver al agente hacer todo este flujo de trabajo de principio a fin y todo por sí solo mientras procesaba aproximadamente 700 cambios de forma autónoma es increíble. Realmente analizaba la secuencia de resultados de los experimentos y la utilizaba para planificar los siguientes. No es una "investigación" novedosa ni revolucionaria (todavía), pero todos los ajustes son "reales", no los encontré manualmente antes, y se acumulan y de hecho mejoran nanochat. Entre las cosas más importantes, por ejemplo: - Notó un descuido de que mi QKnorm sin parámetros no tenía un multiplicador escalador adjunto, así que mi atención estaba demasiado dispersa. El agente encontró multiplicadores para afilarla, apuntando a trabajos futuros. - Descubrió que a los Value Embeddings les gusta mucho la regularización y yo no estaba aplicando ninguna (ups). - Descubrió que mi atención en banda era demasiado conservadora (se me olvidó afinarla). - Descubrió que los betas de AdamW estaban todos desajustados. - Ajustó el calendario de desintegración de peso. - Ajustó la inicialización de la red. Esto además de toda la afinación que ya he hecho durante bastante tiempo. El commit exacto está aquí, de esta "ronda 1" de autoinvestigación. Voy a iniciar la "ronda 2", y en paralelo estoy analizando cómo varios agentes pueden colaborar para desbloquear el paralelismo. Todos los laboratorios de LLM en Frontier hacen esto. Es la batalla final contra el jefe. Por supuesto, es mucho más complejo a gran escala: no tienes solo un tren. Archivo PY para ajustar. Pero hacerlo es "solo ingeniería" y va a funcionar. Generas un enjambre de agentes, los haces colaborar para ajustar modelos más pequeños, promueves las ideas más prometedoras a escalas cada vez mayores, y los humanos (opcionalmente) contribuyen en los bordes. Y más generalmente, *cualquiera* métrica que te importe y que sea razonablemente eficiente de evaluar (o que tenga métricas proxy más eficientes, como entrenar una red más pequeña) puede ser autoinvestigada por un enjambre de agentes. Vale la pena pensar si tu problema también entra en ese grupo.

Tuve la misma idea, así que he estado probándolo en nanochat. Por ejemplo, aquí hay 8 agentes (4 claude, 4 códex), con 1 GPU cada uno ejecutando experimentos nanochat (intentando eliminar el softcap de logit sin regresión). El resumen es que no funciona y es un desastre... Pero sigue siendo muy bonito de ver :) Probé varias configuraciones: 8 investigadores independientes en solitario, 1 científico jefe dando trabajo a 8 investigadores junior, etc. Cada programa de investigación es una rama git, cada científico lo bifurca en una rama de funcionalidad, árboles de trabajo git para aislamiento, archivos simples para comunicaciones, salta Docker/VMs por simplicidad ahora mismo (encuentro que las instrucciones son suficientes para evitar interferencias). La organización de investigación funciona en cuadrículas de ventanas tmux de sesiones interactivas (como Teams) para que sea bonito de ver, ver su trabajo individual y "tomar el control" si es necesario, es decir, sin -p. Pero vale, la razón por la que no funciona hasta ahora es que las ideas de los agentes son bastante malas desde el principio, incluso con la inteligencia más alta. No piensan cuidadosamente en el diseño de los experimentos, ejecutan variaciones un poco absurdas, no crean líneas base fuertes ni ablacionan las cosas correctamente, no controlan cuidadosamente el tiempo de ejecución o los flops. (Por ejemplo, ayer un agente "descubrió" que aumentar el tamaño oculto de la red mejora la pérdida de validación, lo cual es un resultado totalmente innecesario dado que una red más grande tendrá una pérdida de validación menor en el régimen de datos infinitos, pero además entrena mucho más tiempo, no está claro por qué tuve que intervenir para señalarlo). Son muy buenos implementando cualquier idea bien definida y descrita, pero no la generan creativamente. Pero el objetivo es que ahora estés programando una organización (por ejemplo, una "organización de investigación") y sus agentes individuales, así que el "código fuente" es la colección de prompts, habilidades, herramientas, etc. y procesos que lo componen. Por ejemplo, una reunión diaria de pie por la mañana ahora forma parte del "código de organización". Y optimizar el preentrenamiento de nanochat es solo una de las muchas tareas (casi como una evaluación). Entonces, dada una tarea arbitraria, ¿qué tan rápido genera progresos en ella tu organización de investigación?