Agent 忘得太快又记得太久,病根是同一个
把记忆拆成上下文窗口、按线程的 checkpointer 和长期 store,并在客户问起前为每层定好删除时间。
要点速览
- 短期记忆是滚动缓冲区或上下文窗口,不会跨会话保留任何内容。长期记忆必须存放在数据库、知识图谱或向量嵌入中。
- LangGraph 把记忆分为两层:checkpointer 保存每个线程的状态,store 保存跨线程共享的偏好、事实和知识。生产环境需要持久化的 checkpointer。
- 删除是设计的一部分:用上下文编辑清除旧的工具结果,按保留计划清理 checkpoint,不要让 store 过载。
重新部署一次,用户与客户内部客服 Agent 之间所有聊到一半的对话就全没了。可它在笔记本上一直运行正常。同一周,又有用户投诉:三天前就要求 Agent 别再那样称呼自己,它却照旧。
不妨把这当作驻场第二周的一个假想场景。两个故障看起来截然相反,一个是遗忘,一个是记得太久。根源却相同:信息放错了层,也没人决定它该在什么时候删除。对前线部署工程师(FDE)来说,这是一项设计工作。客户会来问你,而不是去问 LLM 供应商。
解决办法是把记忆拆成三层:上下文窗口、按线程的 checkpointer 和长期 store。每一层都要在一开始就回答“什么时候删除?”。
上下文窗口不跨会话保留任何内容
IBM 把 Agent 的短期记忆描述为通常是一个滚动缓冲区,或者就是上下文窗口本身。这一层有一个关键特性:它不会把任何内容带进下一次会话。只存在于提示词里的信息,会话结束就丢了。
同样按 IBM 的说法,长期记忆通常存放在数据库、知识图谱或向量嵌入中。IBM 还把长期记忆细分为三类。三类都属于长期层,但和客户坐下来给数据分类时,这种划分非常有用。
第一类是情景记忆,记录发生过什么,通常实现为事件、动作和结果的结构化日志。第二类是语义记忆,保存结构化的事实知识,比如“客户 A 签的是 B 类合同”。
第三类是程序性记忆:技能、规则和习得的行为,比如“取消订单前一定要先确认”。
数据分好类,存在哪里的问题基本就有了答案。
代码里的两层:线程内与跨线程
LangGraph 把这个思路落成两个具体组件。checkpointer 把图在一个线程内的状态保存为一系列 checkpoint,因此它是按线程的短期记忆。store 负责跨线程共享的长期记忆:用户偏好、事实、共享知识。
LangGraph 文档明确指出,大多数应用应当两者都用。checkpointer 跟踪当前线程,store 保存需要跨线程留存的内容。
回到上面两个故障。部署后对话消失,是 InMemorySaver 的典型症状:按 LangGraph 的说法,这个 checkpointer 在进程重启时会丢失全部数据,生产环境应改用 PostgresSaver 这样的持久化方案。称呼错误则是 store 的问题:偏好写进去了,却从未更新。
实战示例:物流公司的客服 Agent
假设要部署一个 Agent,为一家快递公司的运营人员答疑。写代码之前,先和客户一起填好下表。表中各行只是示例,不是标准。
| 信息 | 类型 | 存储层 | 何时删除 |
|---|---|---|---|
| 刚调用的订单查询工具的结果 | 短期,会话内 | 上下文窗口 | 上下文超过阈值时 |
| 处理中工单的各个步骤 | 短期,按线程 | Checkpointer | 按保留策略,N 天后 |
| “Minh 喜欢简短回复,希望以正式的‘anh’称呼他” | 语义 | Store,按用户划分命名空间 | 用户改变主意或要求删除时 |
| “上次切换仓库时,路由出了问题” | 情景 | Store,写成结构化日志 | 按客户的日志保留策略 |
| “取消订单需要确认” | 程序性 | Store,共享命名空间 | 流程变更时 |
最后一列不要空着。在需求调研会上就填好,趁有决定权的人还在场。
对应的代码骨架比想象中精简。checkpointer 和 store 都显式创建,调用一次 setup() 建表,偏好的写入放在一个节点里完成:
from langgraph.checkpoint.postgres import PostgresSaver
from langgraph.store.postgres import PostgresStore
from langgraph.store.base import BaseStore
# 把偏好保存到该用户命名空间下的节点
def save_preferences(state, config, *, store: BaseStore):
user_id = config["configurable"]["user_id"]
store.put(("users", user_id), "style",
{"tone": "short", "address_as": "anh"})
return {}
builder.add_node("save_preferences", save_preferences)
# 持久化的 checkpointer 和 store:每次部署后都还在
with PostgresSaver.from_conn_string(DB_URI) as checkpointer, \
PostgresStore.from_conn_string(DB_URI) as store:
checkpointer.setup() # 首次运行时建表
store.setup()
graph = builder.compile(checkpointer=checkpointer, store=store)
config = {"configurable": {"thread_id": ticket_id, "user_id": user_id}}
graph.invoke({"messages": [msg]}, config)
值得注意的细节是:thread_id 绑定的是工单,而不是用户。工单一关闭,它的 checkpoint 就失去了价值。Minh 的偏好必须比任何一张工单都活得久,所以放进 store,命名空间里带上 user_id。
何时删除:三层,三种节奏
第一种节奏在单次会话内,对应上下文窗口层。Anthropic 的上下文编辑提供 clear_tool_uses_20250919 策略,上下文超过你配置的阈值后,会自动清除旧的工具结果。每条被清除的结果都会换成一个占位符,让模型知道这里删过内容。
代价是:清除内容会使已缓存的提示词前缀失效,下一轮的成本和延迟可能上升。与 memory 工具配合使用时,上下文接近阈值时 Claude 会自动收到警告,有时间先保存重要信息。
对物流 Agent 来说,这意味着在清除查询结果之前,必须先把正在处理的订单号写下来。
第二种节奏属于 checkpointer。LangGraph 建议定期清理旧 checkpoint,或设定保留策略,比如用一个 cron 任务删除超过 N 天的 checkpoint。N 由客户决定;你的工作是提出一个值并记录下来。
第三种节奏属于长期 store,也是最容易任其膨胀的一层。IBM 把检索优化列为记忆设计中最大的挑战之一,因为存得太多会拖慢响应。
把每条聊天消息都塞进向量库,并不会让 Agent 更聪明。只会让它更慢,也更容易调出错误的记忆。
搭建顺序
先做上面的分类表,而且要和客户一起做,不要闭门造车。接着从开发环境起就使用持久化 checkpointer,让进程重启丢状态的问题在上生产之前就暴露出来。
然后围绕数据归属设计 store 的命名空间,这样“删除我的数据”的请求只需删掉一个命名空间。
最后才开启上下文编辑并调整阈值。前后都要测延迟,因为缓存失效是实打实的。
最常见的错误
最常见的错误,是因为“demo 能跑”就把 InMemorySaver 带进生产环境。第二种是把线程状态和用户事实混在一起:关掉工单就抹掉了偏好,或者反过来,旧工单的残留渗进每一次新对话。
第三种是把 store 当成无底的垃圾桶,过一个季度再花时间排查 Agent 为什么变慢。第四种更难察觉:删除策略没人负责,客户法务一问,没人答得上来。
阅读 FDE 职位描述时,“stateful agents”“conversation persistence”“data retention”这类说法,正是这段经验的用武之地。简历上写“为 Agent 设计两层记忆,采用持久化 checkpointer 并按工单设定保留策略”,远比“用过 LangGraph”有分量。
本周练习
拿一个你做过的 Agent,哪怕是个人 demo。为它记住的所有内容填好这张四列表,然后在对话进行到一半时重启进程,记录哪些留下了、哪些丢了。
“何时删除”一栏空着的每一行,都是你第一次驻场时迟早会出的事故。
这篇文章对你有帮助吗?
感谢你的反馈!