Während es weniger Labore gibt, die die Rechenleistung haben, um auf Modelle zu skalieren, die von vielen Menschen genutzt werden, macht es mich wirklich glücklich zu sehen, dass die Forschung zum Pretraining lebendig ist und mit vielen miteinander verwobenen Ideen voranschreitet. Im Vergleich zu vor ein paar Jahren fühlt es sich wie ein großer Wandel in der Optimismus an.