Потрібно виправити архітектуру, контекст рухомого вікна — це не пам'ять 🧵 агента

1/контекст рухомого вікна не є пам'яттю агента. Більшість людей, які працюють з агентами ШІ, не знають різниці. І це ламає їхню продукцію.

2/a рухоме вікно — це лише те, що LLM зараз бачить. (Тимчасово. Без громадянства. Сліпі за вікном.) Це активна розмова (токени всередині, токени виходять). Як тільки щось перевищує межу, воно зникає. Повністю. Модель навіть не підозрює, що колись існувала.

3/пам'ять агента — це зовсім інше. (це різниця між оперативною пам'яттю та жорстким диском.) Це явне зберігання (факти, вподобання, минулі взаємодії), що живе поза моделлю. Його можна запитувати, оновлювати, видаляти. Він зберігся після завершення сесій.

4/Без справжньої пам'яті агенти насправді не вчаться на минулих розмовах. (Це просто дуже впевнена галюцинація.) Натомість вони роблять здогадки. вони відповідають патернам у межах поточного вікна та фальшивої безперервності. Виглядає логічно. Це не так.

5/Змішувати ці дві речі — ось де все йде не так мовчки. Ви припускаєте, що ваш агент знає вподобання користувача. Цього не відбувається (це просто контекст, який прокрутив дві сесії тому). Здавалося, він пам'ятав. Це була просто робота з тим, що було перед нею.

Твій агент не зламаний. Просто він ніколи не мав пам'яті.