热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
我们需要修复架构,滚动窗口上下文不是代理内存 🧵
1/滚动窗口上下文不是代理内存。
大多数使用AI代理进行构建的人并不知道这之间的区别,这正在破坏他们的产品。
2/a 滚动窗口就是 LLM 现在能看到的内容。(临时的,无状态的,窗口外是盲目的。)
这是活跃的对话(输入的 tokens,输出的 tokens)。一旦某些内容超出限制,它就消失了。完全消失。模型根本不知道它曾经存在过。
3/代理记忆是完全不同的东西。(这是RAM和硬盘之间的区别。)
它是显式存储(事实、偏好、过去的互动),存在于模型之外。可以查询、更新、删除。它在会话结束后仍然存在。
4/没有真实的记忆,代理实际上并不会从过去的对话中学习。(这只是一种非常自信的幻觉。)
他们所做的实际上是猜测。他们在当前窗口内进行模式匹配并伪造连续性。看起来很连贯。实际上并不是。
将两者混淆是事情悄然出错的地方。
你假设你的代理知道用户的偏好。它并不知道(那只是两次会话前的上下文)。它看起来像是记住了。它只是处理眼前的内容。
你的代理并没有坏。它只是从一开始就没有记忆。
72
热门
排行
收藏
