Bien qu'il y ait moins de laboratoires capables de disposer de la puissance de calcul nécessaire pour des modèles utilisés par des milliers de personnes, cela me rend vraiment heureux de voir que la recherche sur le pré-entraînement est dynamique et progresse avec de nombreuses idées entrelacées. Comparé à il y a quelques années, on a l'impression d'un grand changement d'optimisme.