Hoewel er minder laboratoria zijn die de rekenkracht hebben om op te schalen naar modellen die door veel mensen worden gebruikt, maakt het me echt blij om te zien dat het onderzoek naar pretraining levendig is en vordert met veel door elkaar lopende ideeën. In vergelijking met een paar jaar geleden voelt het als een grote verschuiving in optimisme.