熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
我們需要修正架構,滾動窗口上下文不是代理記憶 🧵
1/滾動窗口上下文並不是代理記憶。
大多數使用 AI 代理進行建設的人並不知道這個區別,這正在破壞他們的產品。
2/a 滾動窗口就是 LLM 現在能看到的內容。(暫時的。無狀態的。看不見窗口外的內容。)
這是活躍的對話(進入的標記,出去的標記)。一旦某些內容超過了限制,它就消失了。完全消失。模型對它的存在毫無概念。
3/代理記憶是完全不同的東西。(這是 RAM 和硬碟之間的區別。)
它是明確的存儲(事實、偏好、過去的互動),存在於模型之外。可以查詢、更新、刪除。它能夠在會話結束後存活。
4/沒有真正的記憶,代理人實際上並不會從過去的對話中學習。(這只是一種非常自信的幻覺。)
他們所做的實際上是猜測。他們在當前的窗口內進行模式匹配並假裝連貫性。看起來是連貫的,但實際上並不是。
5/將兩者混淆是事情悄然出錯的地方。
你假設你的代理知道用戶的偏好。它並不知道(那只是兩個會話前的上下文)。它看起來像是記住了。它只是根據眼前的資訊在工作。
你的代理並沒有壞掉。它只是從一開始就沒有記憶。
74
熱門
排行
收藏
