Vi må fikse arkitekturen, rullende vindu-kontekst er ikke agentminne 🧵

1/rullende vindu-kontekst er ikke agentminne. de fleste som bygger med AI-agenter vet ikke forskjellen. Og det ødelegger produktene deres.

2/et rullende vindu er bare det LLM-en kan se akkurat nå. (midlertidig. statsløs. persienne utenfor vinduet.) Det er den aktive samtalen (tokens inn, tokens ut). Når noe ruller forbi grensen, er det borte. Fullstendig. Modellen har ingen anelse om at den noen gang har eksistert.

3/agent-minne er noe helt annet. (det er forskjellen mellom RAM og harddisk.) Det er eksplisitt lagring (fakta, preferanser, tidligere interaksjoner) som lever utenfor modellen. Det kan forespørres, oppdateres, slettes. Den overlever avslutninger av øktene.

4/Uten ekte hukommelse lærer agenter faktisk ikke av tidligere samtaler. (Det er bare en veldig selvsikker hallusinasjon.) Det de gjør i stedet, er å gjette. De matcher mønsteret innenfor det nåværende vinduet og falsker kontinuitet. Det ser sammenhengende ut. Det er det ikke.

5/å blande sammen de to er der ting går galt i stillhet. Du antar at agenten din kjenner brukerens preferanser. Det gjør det ikke (det er bare konteksten som ble rullet ut for to økter siden). Det virket som om den husket. den jobbet bare med det som var foran den.

Agenten din er ikke ødelagt. Den hadde bare aldri hukommelse i utgangspunktet.