FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Letta 什么都存,Agent 却只记得上下文里的内容

这款 MemGPT 的开源继任者仍要 FDE 决定每次调用放入哪些 token、为此付费,以及何时干脆不用。

分享微博

要点速览

  • Letta 把记忆、消息、推理过程和工具调用都存进数据库,其中只有记忆块会在每次调用时固定写入系统提示词。
  • 驱逐和对话摘要都会丢失信息,因此 Letta 建议只驱逐部分历史,例如 70%。
  • Letta V1 SDK 正在弃用,由带 MemFS 的 Letta Agent SDK 取代,交付客户前要先锁定版本。
Letta 两层状态示意图。左侧是上下文窗口,上部橙色区域是始终固定的记忆块:例如 2,000 个 token 乘以 1,000 次调用,每天合计 200 万个 token。右侧是存放历史、推理过程和工具调用的数据库,一个箭头指向上下文窗口,表示条目只有被选中时才进入。
记忆块始终在上下文中,每次调用都要为它的 token 付费;历史、推理过程和工具调用只有被选中时才进入。成本数字是为本文所做的假设计算。来源:Letta 文档与博客;FDE Times 示意计算。

使用 Letta 时,Agent 看过、做过的一切都会写入数据库:记忆、用户消息、推理过程和工具调用。这听上去能治好 Agent 的健忘。但 Agent 回答时真正“记得”什么,完全是另一回事。

Letta 在博客中写道,记忆说到底就是决定每一时刻把哪些 token 放进上下文窗口。前线部署工程师(FDE)在向客户承诺一个“能记住用户”的 Agent 之前,都应该从这句话出发。

无论是客服 Agent、内部助手,还是运维团队的 Copilot,客户迟早会问:为什么机器人昨天还认识我,今天就不认识了?Letta 是回答这个问题的一个认真的方案。不过它有代价,也有不该用的场合。

Letta 从何而来,能做什么

Letta 脱胎于 UC Berkeley 团队(Packer、Wooders、Lin、Fang、Patil、Stoica、Gonzalez)的 MemGPT 论文,论文提交于 2023 年 10 月 12 日。由于大模型受上下文窗口限制,论文提出仿照操作系统的内存层级来管理一个“虚拟上下文”。

其开源仓库采用 Apache-2.0 许可,自称是有状态 Agent 平台,明确写着前身是 MemGPT,并可通过 letta server 自托管。

Letta 文档把有状态 Agent 定义为能在多轮对话之间保留记忆和上下文的 Agent。为此,Letta 把状态分成两层,这两层必须分清。

第一层是记忆块(memory block)。挂载到 Agent 上的记忆块始终在上下文中,固定写在系统提示词里。记忆块可以通过 API 编辑,因此你或 Agent 本身都能查看并修改它“记着”的内容。第二层是其余一切:历史、推理过程、工具调用。它们存在数据库里,只有被选中时才进入上下文。

每个固定的 token,每次调用都要花钱

设想一个面向 B2B 客户的技术支持助手。你建了一个“客户档案”记忆块,记录服务套餐、客户使用的系统和过往故障。有了它,用户说过的事 Agent 就不必再问一遍。

现在算笔账。假设这个记忆块有 2,000 个 token,Agent 每天接到 1,000 次调用,仅档案一项每天就消耗 200 万个输入 token,哪怕用户问的只是“在哪里改密码?”

记忆块始终固定,每次调用都要占用上下文空间。设计时要问的是:这些信息是每一轮都需要,还是只在相关时查一下就够?

对话历史也有代价。Letta 承认,驱逐和摘要都会丢失信息:较早的消息会逐渐失去影响力。它的建议是只驱逐部分历史,例如 70%,以保住对话脉络。

具体来说,100 条消息快要撑满上下文时,把最早的 70 条压成摘要,保留最近 30 条原文。只出现在那 70 条里的细节,可能就此淡去。

什么时候该对客户说“不”?

第一种情况是任务本身没有真正的状态:工单分类、从发票中抽取字段、总结一份文档。直接用固定提示词调用模型,更容易调试、更容易写评测,也更便宜。在这里加一个状态数据库,只会多出几个出故障的地方。

第二种情况是敏感数据。Letta 会把用户消息和推理过程都存入数据库,所以启用之前,需要先和客户的安全团队谈清楚:数据库放在哪里,谁能读取,用户要求删除时怎么删。

用 letta server 自托管能让数据留在客户的基础设施上,但不能代替这场沟通。

第三种情况是客户需要系统多年保持稳定。Letta 已为新一代推理模型放弃 MemGPT 式循环,改用“Letta V1”:心跳机制和 send_message 工具已弃用,旧架构仍受支持。Letta 自己也记录了这次变化的得与失,例如推理过程通常只能以摘要形式获得,且无法编辑。

SDK 层也在变。Letta V1 SDK 正在弃用,让位于 Letta Agent SDK,后者最新的记忆系统是 MemFS,而 V1 只支持记忆块。如果要交付给客户,请锁定版本,并在交接文档里写明升级路径。

别凭一个基准分数选记忆系统

Letta 称,其仅使用文件系统的 Agent 在 LoCoMo 上得分 74.0%,而 Mem0 报告的成绩是 68.5%。这是 Letta 自己跑出的结果,看的时候要谨慎。

有意思的是,Letta 在同一篇文章里也认为,LoCoMo 这类基准可能只是弱信号;记忆质量更多取决于 Agent 如何管理上下文,而不是某种特定的检索机制。

对 FDE 来说,结论是用客户的真实对话自建评测。挑 20 个用户隔几天回来的会话,写下 Agent 必须记住的内容,再给它是否记住打分。这比任何排行榜都更能说明问题。

先学什么,简历上写什么

先学概念,再学工具:上下文窗口,哪些固定,哪些查询,哪些驱逐。然后自托管一个 Letta,通过 API 编辑记忆块,观察 Agent 的回答如何变化。API 细节会随 SDK 变化,但挑选 token 的习惯始终有用。

简历上不要只写“用过 Letta”。要写你为某个 Agent 设计了记忆,决定了哪些信息固定在上下文中,测算了 token 成本,以及在哪些地方拒绝使用持久记忆。如果岗位描述提到“agent memory”或“stateful agents”,最值得准备的面试题是:你什么时候选择了不保留状态?

记住一切的 Agent 不一定是好 Agent。好的 FDE 知道 Agent 需要忘掉什么。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 3: AI 应用Unstructured 的默认设置,会让 RAG 索引漏掉邮件附件按结构解析 Word、PowerPoint 和邮件,每个分块都能保留 parent_id,前提是索引前先改几项设置。