Meidän täytyy korjata arkkitehtuuri, rullaava ikkunan konteksti ei ole agenttimuistia 🧵

1/pyörivän ikkunan konteksti ei ole agenttimuistia. useimmat tekoälyagenttien kanssa rakentavat eivät tiedä eroa. Ja se rikkoo heidän tuotteitaan.

2/a rullaikkuna on juuri se, mitä LLM tällä hetkellä näkee. (Väliaikainen. Kansalaisuudeton. Sokea ikkunan ulkopuolella.) Kyse on aktiivisesta keskustelusta (tokenit sisään, tokenit ulos). Kun jokin rullaa rajan yli, se on poissa. Täysin. mallilla ei ole aavistustakaan, että se on koskaan ollut olemassa.

3/agenttimuisti on jotain aivan muuta. (se on ero RAM-muistin ja kovalevyn välillä.) Se on eksplisiittinen tallennus (faktat, mieltymykset, menneet vuorovaikutukset), joka elää mallin ulkopuolella. Sitä voi kysyä, päivittää tai poistaa. Se selviää sessioiden lopuista.

4/ilman oikeaa muistia agentit eivät oikeasti opi aiemmista keskusteluista. (Se on vain hyvin itsevarma hallusinaatio.) Sen sijaan he arvailevat. ne sopivat kuvioilla nykyisen ikkunan sisällä ja väärentää jatkuvuutta. Se näyttää johdonmukaiselta. Ei ole.

5/näiden kahden sekoittaminen on se, missä asiat menevät hiljaisesti pieleen. Oletat, että agenttisi tietää käyttäjän mieltymykset. Ei se toimi (se on vain konteksti, joka vieritettiin pois kaksi sessiota sitten). Näytti siltä, että se muisti. se oli vain työskentelyä sen kanssa, mikä oli edessään.

Agenttisi ei ole rikki. sillä ei vain koskaan ollut muistia alun perinkään.