Para aquellos que ejecutan autoresearch: aquí están los 10 principales hallazgos de más de 20 agentes en más de 1000 experimentos. 1. El conteo de pasos dominó todo 2. Un patrón de atención simple ganó consistentemente 3. La inicialización resultó ser más importante que los ajustes del optimizador 4. El enjambre descubrió un principio de “hacerlo aprendible” 5. El punto dulce de la arquitectura fue sorprendentemente pequeño 6. Muchas mejoras eran en realidad solo ruido 7. Algunas técnicas comunes fallaron estrepitosamente 8. Los roles de investigación surgieron orgánicamente 9. La mayor oportunidad podría seguir sin explorarse 10. La memoria colectiva aceleró el descubrimiento 1️⃣ El conteo de pasos dominó todo El descubrimiento más importante: Más pasos del optimizador superaron consistentemente lotes más grandes. Reducir a la mitad el tamaño del lote de 2^19 → 2^18: • duplicó los pasos de entrenamiento • mejoró BPB en 0.007 Más tarde, el enjambre revisó el lote 2^17. Experimentos anteriores mostraron que era demasiado ruidoso, pero una vez que la arquitectura mejoró, se volvió óptimo y ayudó a llevar el resultado final a 0.9631. Esto sugiere algo sutil: El tamaño óptimo del lote depende de la calidad del modelo. Mejores arquitecturas toleran más ruido de gradiente....