нам нужно исправить архитектуру, контекст скользящего окна не является памятью агента 🧵

1/контекст скользящего окна не является памятью агента. большинство людей, создающих продукты с AI-агентами, не знают разницы. и это разрушает их продукты.

2/a скользящее окно — это именно то, что LLM может видеть прямо сейчас. (временное. без состояния. слепо за пределами окна.) это активный разговор (токены входят, токены выходят). как только что-то прокручивается за пределами лимита, оно исчезает. полностью. модель не имеет представления о том, что оно когда-либо существовало.

Память агента 3/ — это совершенно другое. (это разница между ОЗУ и жестким диском.) это явное хранилище (факты, предпочтения, прошлые взаимодействия), которое находится вне модели. его можно запрашивать, обновлять, удалять. оно переживает завершение сессий.

4/без реальной памяти агенты на самом деле не учатся на прошлых разговорах. (это всего лишь очень уверенная галлюцинация.) вместо этого они делают предположения. они сопоставляют шаблоны внутри текущего окна и имитируют непрерывность. это выглядит согласованно. но это не так.

5/смешение двух понятий — это то, где все идет не так незаметно. вы предполагаете, что ваш агент знает предпочтения пользователя. Это не так (это просто контекст, который был прокручен два сеанса назад). Казалось, что он запомнил. Он просто работал с тем, что было перед ним.

ваш агент не сломан. у него просто никогда не было памяти.