Хоча менше лабораторій, які мають обчислення для масштабування під моделі, які використовують багато людей, мене дуже тішить бачити, що дослідження попереднього навчання є живими і прогресують із багатьма переплетеними ідеями. Порівняно з кількома роками тому, це відчувається як велика зміна оптимізму.