Para quienes dirigen autoinvestigación: aquí están los 10 principales hallazgos de 20+ agentes en 1000+ experimentos. 1. El número de pasos dominaba todo 2. Un patrón de atención sencillo ganaba consistentemente 3. La inicialización resultó ser más importante que los ajustes del optimizador 4. El enjambre descubrió un principio de "hacerlo aprendible" 5. El punto ideal de la arquitectura era sorprendentemente pequeño 6. Muchas mejoras en realidad eran solo ruido 7. Algunas técnicas comunes fallaron estrepitosamente 8. Los roles de investigación surgieron de forma orgánica 9. La mayor oportunidad podría seguir sin explotarse 10. Descubrimiento acelerado por memoria colectiva 1️⃣ El conteo de pasos dominaba todo El descubrimiento más importante: Más pasos del optimizador superan consistentemente a lotes más grandes. Reducción a la mitad del tamaño del lote de 2^19 → 2^18: • duplicar los pasos de entrenamiento • mejora del BPB en 0,007 Más tarde, el enjambre volvió a revisar el lote 2^17. Experimentos anteriores demostraron que era demasiado ruidosa, pero una vez que la arquitectura mejoró, se volvió óptima y ayudó a llevar el resultado final a 0,9631. Esto sugiere algo sutil: El tamaño óptimo del lote depende de la calidad del modelo. Las mejores arquitecturas toleran más ruido de gradiente....