Embora haja menos laboratórios que tenham a capacidade de computação para escalar para modelos que muitas pessoas usam, fico realmente feliz em ver que a pesquisa de pré-treinamento está vibrante e progredindo com muitas ideias intercaladas. Comparado a alguns anos atrás, parece haver uma grande mudança no otimismo.