Aunque hay menos laboratorios que tienen la capacidad de computación para escalar a modelos que utilizan muchas personas, me alegra mucho ver que la investigación en preentrenamiento es vibrante y está avanzando con muchas ideas entrelazadas. En comparación con hace unos años, parece un gran cambio en el optimismo.