FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Agent 忘得太快又记得太久,病根是同一个

把记忆拆成上下文窗口、按线程的 checkpointer 和长期 store,并在客户问起前为每层定好删除时间。

分享微博

要点速览

  • 短期记忆是滚动缓冲区或上下文窗口,不会跨会话保留任何内容。长期记忆必须存放在数据库、知识图谱或向量嵌入中。
  • LangGraph 把记忆分为两层:checkpointer 保存每个线程的状态,store 保存跨线程共享的偏好、事实和知识。生产环境需要持久化的 checkpointer。
  • 删除是设计的一部分:用上下文编辑清除旧的工具结果,按保留计划清理 checkpoint,不要让 store 过载。
图表用三根长短不一的横条表示 Agent 记忆的生命周期。上下文窗口最短,上下文超过阈值时清理工具结果;checkpointer 较长,工单步骤按保留策略在 N 天后删除;长期 store 最长,保存情景、语义和程序性记忆,也最常被放任膨胀,只在用户改变主意或流程变更时清除。底部结论:每条信息都需要一个层级、一个归属方和一个过期日期。
Agent 的三层记忆生命周期各不相同,每一层都要从一开始就定好删除时间表。

重新部署一次,用户与客户内部客服 Agent 之间所有聊到一半的对话就全没了。可它在笔记本上一直运行正常。同一周,又有用户投诉:三天前就要求 Agent 别再那样称呼自己,它却照旧。

不妨把这当作驻场第二周的一个假想场景。两个故障看起来截然相反,一个是遗忘,一个是记得太久。根源却相同:信息放错了层,也没人决定它该在什么时候删除。对前线部署工程师(FDE)来说,这是一项设计工作。客户会来问你,而不是去问 LLM 供应商。

解决办法是把记忆拆成三层:上下文窗口、按线程的 checkpointer 和长期 store。每一层都要在一开始就回答“什么时候删除?”。

上下文窗口不跨会话保留任何内容

IBM 把 Agent 的短期记忆描述为通常是一个滚动缓冲区,或者就是上下文窗口本身。这一层有一个关键特性:它不会把任何内容带进下一次会话。只存在于提示词里的信息,会话结束就丢了。

同样按 IBM 的说法,长期记忆通常存放在数据库、知识图谱或向量嵌入中。IBM 还把长期记忆细分为三类。三类都属于长期层,但和客户坐下来给数据分类时,这种划分非常有用。

第一类是情景记忆,记录发生过什么,通常实现为事件、动作和结果的结构化日志。第二类是语义记忆,保存结构化的事实知识,比如“客户 A 签的是 B 类合同”。

第三类是程序性记忆:技能、规则和习得的行为,比如“取消订单前一定要先确认”。

数据分好类,存在哪里的问题基本就有了答案。

代码里的两层:线程内与跨线程

LangGraph 把这个思路落成两个具体组件。checkpointer 把图在一个线程内的状态保存为一系列 checkpoint,因此它是按线程的短期记忆。store 负责跨线程共享的长期记忆:用户偏好、事实、共享知识。

LangGraph 文档明确指出,大多数应用应当两者都用。checkpointer 跟踪当前线程,store 保存需要跨线程留存的内容。

回到上面两个故障。部署后对话消失,是 InMemorySaver 的典型症状:按 LangGraph 的说法,这个 checkpointer 在进程重启时会丢失全部数据,生产环境应改用 PostgresSaver 这样的持久化方案。称呼错误则是 store 的问题:偏好写进去了,却从未更新。

实战示例:物流公司的客服 Agent

假设要部署一个 Agent,为一家快递公司的运营人员答疑。写代码之前,先和客户一起填好下表。表中各行只是示例,不是标准。

信息 类型 存储层 何时删除
刚调用的订单查询工具的结果 短期,会话内 上下文窗口 上下文超过阈值时
处理中工单的各个步骤 短期,按线程 Checkpointer 按保留策略,N 天后
“Minh 喜欢简短回复,希望以正式的‘anh’称呼他” 语义 Store,按用户划分命名空间 用户改变主意或要求删除时
“上次切换仓库时,路由出了问题” 情景 Store,写成结构化日志 按客户的日志保留策略
“取消订单需要确认” 程序性 Store,共享命名空间 流程变更时

最后一列不要空着。在需求调研会上就填好,趁有决定权的人还在场。

对应的代码骨架比想象中精简。checkpointer 和 store 都显式创建,调用一次 setup() 建表,偏好的写入放在一个节点里完成:

from langgraph.checkpoint.postgres import PostgresSaver
from langgraph.store.postgres import PostgresStore
from langgraph.store.base import BaseStore

# 把偏好保存到该用户命名空间下的节点
def save_preferences(state, config, *, store: BaseStore):
    user_id = config["configurable"]["user_id"]
    store.put(("users", user_id), "style",
              {"tone": "short", "address_as": "anh"})
    return {}

builder.add_node("save_preferences", save_preferences)

# 持久化的 checkpointer 和 store:每次部署后都还在
with PostgresSaver.from_conn_string(DB_URI) as checkpointer, \
     PostgresStore.from_conn_string(DB_URI) as store:
    checkpointer.setup()  # 首次运行时建表
    store.setup()
    graph = builder.compile(checkpointer=checkpointer, store=store)

    config = {"configurable": {"thread_id": ticket_id, "user_id": user_id}}
    graph.invoke({"messages": [msg]}, config)

值得注意的细节是:thread_id 绑定的是工单,而不是用户。工单一关闭,它的 checkpoint 就失去了价值。Minh 的偏好必须比任何一张工单都活得久,所以放进 store,命名空间里带上 user_id。

何时删除:三层,三种节奏

第一种节奏在单次会话内,对应上下文窗口层。Anthropic 的上下文编辑提供 clear_tool_uses_20250919 策略,上下文超过你配置的阈值后,会自动清除旧的工具结果。每条被清除的结果都会换成一个占位符,让模型知道这里删过内容。

代价是:清除内容会使已缓存的提示词前缀失效,下一轮的成本和延迟可能上升。与 memory 工具配合使用时,上下文接近阈值时 Claude 会自动收到警告,有时间先保存重要信息。

对物流 Agent 来说,这意味着在清除查询结果之前,必须先把正在处理的订单号写下来。

第二种节奏属于 checkpointer。LangGraph 建议定期清理旧 checkpoint,或设定保留策略,比如用一个 cron 任务删除超过 N 天的 checkpoint。N 由客户决定;你的工作是提出一个值并记录下来。

第三种节奏属于长期 store,也是最容易任其膨胀的一层。IBM 把检索优化列为记忆设计中最大的挑战之一,因为存得太多会拖慢响应。

把每条聊天消息都塞进向量库,并不会让 Agent 更聪明。只会让它更慢,也更容易调出错误的记忆。

搭建顺序

先做上面的分类表,而且要和客户一起做,不要闭门造车。接着从开发环境起就使用持久化 checkpointer,让进程重启丢状态的问题在上生产之前就暴露出来。

然后围绕数据归属设计 store 的命名空间,这样“删除我的数据”的请求只需删掉一个命名空间。

最后才开启上下文编辑并调整阈值。前后都要测延迟,因为缓存失效是实打实的。

最常见的错误

最常见的错误,是因为“demo 能跑”就把 InMemorySaver 带进生产环境。第二种是把线程状态和用户事实混在一起:关掉工单就抹掉了偏好,或者反过来,旧工单的残留渗进每一次新对话。

第三种是把 store 当成无底的垃圾桶,过一个季度再花时间排查 Agent 为什么变慢。第四种更难察觉:删除策略没人负责,客户法务一问,没人答得上来。

阅读 FDE 职位描述时,“stateful agents”“conversation persistence”“data retention”这类说法,正是这段经验的用武之地。简历上写“为 Agent 设计两层记忆,采用持久化 checkpointer 并按工单设定保留策略”,远比“用过 LangGraph”有分量。

本周练习

拿一个你做过的 Agent,哪怕是个人 demo。为它记住的所有内容填好这张四列表,然后在对话进行到一半时重启进程,记录哪些留下了、哪些丢了。

“何时删除”一栏空着的每一行,都是你第一次驻场时迟早会出的事故。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 3: AI 应用把客户 SOP 写成提示词,先写测试模型输出随快照变化,只有答案已知的历史案例,才能证明提示词下个月依然可靠。