Je trochu zavádějící, že lidé jsou lepší v neustálém učení než současné AI systémy. Také trpíme katastrofálním zapomínáním: vezměte průměrného člověka a požádejte ho, aby znovu skládal zkoušky na střední nebo vysoké škole. Selžou naprosto špatně. Naše dlouhodobá paměť se zhoršuje a zapomínáme dříve naučené dovednosti. Kde vynikáme, je možná chytřejší využití kontextového okna (v mozku) a schopnost používat nástroje. Máme tendenci nějak vědět, co všechno je třeba mít na paměti, abychom mohli odvádět dobrou práci a žít dobře. Zbytek delegujeme světu prostřednictvím souborů, nástrojů nebo jiných lidí. Další generace LLM "vyřeší" kontinuální učení stejným způsobem. Ať už si budou pamatovat nové věci aktualizací vah, nebo pomocí poznámek/souborů či KV cache, předpokládám, že to bude postupné zlepšování a než se nadějeme, budeme očekávat, že naše AI systémy se budou zlepšovat s námi.