Wir müssen die Architektur reparieren, der Rolling-Window-Kontext ist kein Agentenspeicher 🧵

1/rollender Fensterkontext ist nicht der Agentenspeicher. Die meisten Menschen, die mit KI-Agenten arbeiten, wissen nicht, was der Unterschied ist. Und das zerstört ihre Produkte.

Ein rollierendes Fenster ist genau das, was das LLM gerade sehen kann. (vorübergehend. zustandslos. blind außerhalb des Fensters.) Es ist das aktive Gespräch (Tokens rein, Tokens raus). Sobald etwas über das Limit hinaus scrollt, ist es weg. Komplett. Das Modell hat keine Ahnung, dass es jemals existiert hat.

3/Agentenspeicher ist etwas ganz anderes. (Es ist der Unterschied zwischen RAM und einer Festplatte.) Es ist explizite Speicherung (Fakten, Präferenzen, vergangene Interaktionen), die außerhalb des Modells lebt. Sie kann abgefragt, aktualisiert und gelöscht werden. Sie überlebt das Ende von Sitzungen.

4/ohne echtes Gedächtnis lernen Agenten nicht tatsächlich aus vergangenen Gesprächen. (es ist nur eine sehr selbstbewusste Halluzination.) Was sie stattdessen tun, ist raten. Sie erkennen Muster im aktuellen Fenster und faken Kontinuität. Es sieht kohärent aus. Ist es aber nicht.

5/Die Vermischung der beiden ist der Punkt, an dem die Dinge stillschweigend schiefgehen. Du gehst davon aus, dass dein Agent die Vorlieben des Nutzers kennt. Das tut er nicht (das ist nur der Kontext, der vor zwei Sitzungen ausgeblendet wurde). Es schien, als würde er sich erinnern. Es arbeitete nur mit dem, was ihm vorlag.

Ihr Agent ist nicht kaputt. Er hatte einfach von Anfang an kein Gedächtnis.