chúng ta cần sửa chữa kiến trúc, ngữ cảnh cửa sổ cuộn không phải là bộ nhớ của tác nhân 🧵

1/ ngữ cảnh cửa sổ lăn không phải là bộ nhớ của tác nhân. Hầu hết mọi người xây dựng với các tác nhân AI không biết sự khác biệt. và điều đó đang phá hủy sản phẩm của họ.

2/a cửa sổ lăn là những gì LLM có thể thấy ngay bây giờ. (tạm thời. không trạng thái. mù bên ngoài cửa sổ.) đó là cuộc trò chuyện đang diễn ra (token vào, token ra). một khi điều gì đó cuộn qua giới hạn, nó sẽ biến mất. hoàn toàn. mô hình không có ý tưởng rằng nó từng tồn tại.

Bộ nhớ của 3/agent là một thứ hoàn toàn khác. (đó là sự khác biệt giữa RAM và ổ cứng.) Đó là lưu trữ rõ ràng (sự thật, sở thích, tương tác trong quá khứ) sống bên ngoài mô hình. Nó có thể được truy vấn, cập nhật, xóa. Nó tồn tại sau khi kết thúc phiên.

4/không có bộ nhớ thực, các tác nhân thực sự không học hỏi từ các cuộc trò chuyện trước đó. (đó chỉ là một ảo giác rất tự tin.) thay vào đó, những gì họ làm là đoán. họ so khớp mẫu bên trong cửa sổ hiện tại và giả vờ liên tục. nó trông có vẻ mạch lạc. nhưng thực ra thì không.

5/ việc kết hợp hai điều này là nơi mọi thứ trở nên sai lầm một cách âm thầm. bạn giả định rằng đại lý của bạn biết sở thích của người dùng. nó không biết (đó chỉ là bối cảnh đã cuộn ra hai phiên trước). nó có vẻ như đã nhớ. nó chỉ đang làm việc với những gì ở trước mặt nó.

đại lý của bạn không bị hỏng. nó chỉ chưa bao giờ có trí nhớ ngay từ đầu.