Det är lite missvisande att människor är bättre på kontinuerligt lärande än dagens AI-system. Vi lider också av katastrofal glömska: ta vilken vanlig person som helst och be dem göra sina gymnasie- eller högskoleprov igen. De kommer att misslyckas kapitalt. Vårt långtidsminne försämras och vi glömmer tidigare inlärda färdigheter. Där vi utmärker oss är kanske smartare användning av vårt kontextfönster (i hjärnan) och förmågan att använda verktyg. Vi tenderar på något sätt att veta vad vi behöver ha i åtanke för att göra ett bra jobb och leva väl. Resten delegerar vi till världen via filer, verktyg eller andra människor. Nästa generation av LLM:er kommer att "lösa" kontinuerligt lärande på samma sätt. Oavsett om de kommer ihåg nytt genom att uppdatera vikter eller via anteckningar/filer eller KV-cache, misstänker jag att det blir en gradvis förbättring över tid och innan vi vet ordet av förväntar vi oss att våra AI-system förbättras med tiden.