precisamos corrigir a arquitetura, o contexto de janela deslizante não é memória do agente 🧵
1/o contexto da janela deslizante não é a memória do agente. a maioria das pessoas que estão a construir com agentes de IA não sabe a diferença. e isso está a prejudicar os seus produtos.
Uma janela deslizante 2/a é apenas o que o LLM pode ver neste momento. (temporário. sem estado. cego fora da janela.) é a conversa ativa (tokens a entrar, tokens a sair). uma vez que algo ultrapassa o limite, desaparece. completamente. o modelo não tem ideia de que alguma vez existiu.
A memória do agente é algo completamente diferente. (é a diferença entre RAM e um disco rígido.) é um armazenamento explícito (fatos, preferências, interações passadas) que vive fora do modelo. pode ser consultado, atualizado, excluído. sobrevive ao término das sessões.
4/sem memória real, os agentes não aprendem realmente com conversas passadas. (é apenas uma alucinação muito confiante.) o que eles fazem em vez disso é adivinhar. eles fazem correspondência de padrões dentro da janela atual e fingem continuidade. parece coerente. não é.
5/confluir os dois é onde as coisas dão errado silenciosamente. você assume que seu agente conhece as preferências do usuário. não conhece (isso é apenas o contexto rolado duas sessões atrás). parecia que se lembrava. estava apenas trabalhando com o que estava à sua frente.
o seu agente não está quebrado. ele simplesmente nunca teve memória para começar.
31