Существует небольшое недоразумение, что люди лучше справляются с непрерывным обучением, чем современные AI-системы. Мы также страдаем от катастрофического забывания: возьмите любого среднего человека и попросите его снова сдать экзамены в старшей школе / колледже. Он провалится с треском. Наша долговременная память ухудшается, и мы забываем ранее усвоенные навыки. Где мы преуспеваем, так это, возможно, в более умном использовании нашего контекстного окна (в мозге) и способности использовать инструменты. Мы как-то знаем, что нам нужно помнить, чтобы хорошо выполнять свою работу и жить хорошо. Остальное мы делегируем миру через файлы, инструменты или других людей. Следующее поколение LLM будет "решать" проблему непрерывного обучения тем же способом. Будут ли они запоминать новую информацию, обновляя веса или через заметки/файлы или KV-кэш, я подозреваю, что это будет постепенное улучшение со временем, и прежде чем мы это осознаем, мы будем ожидать, что наши AI-системы будут улучшаться вместе с нами со временем.