# Letta 什么都存，Agent 却只记得上下文里的内容

> 这款 MemGPT 的开源继任者仍要 FDE 决定每次调用放入哪些 token、为此付费，以及何时干脆不用。

原文: https://fdetimes.net/zh/tools/letta-stateful-agents-persistent-memory/

使用 Letta 时，Agent 看过、做过的一切都会写入数据库：记忆、用户消息、推理过程和工具调用。这听上去能治好 Agent 的健忘。但 Agent 回答时真正“记得”什么，完全是另一回事。

Letta 在博客中写道，记忆说到底就是决定每一时刻把哪些 token 放进上下文窗口。前线部署工程师（FDE）在向客户承诺一个“能记住用户”的 Agent 之前，都应该从这句话出发。

无论是客服 Agent、内部助手，还是运维团队的 Copilot，客户迟早会问：为什么机器人昨天还认识我，今天就不认识了？Letta 是回答这个问题的一个认真的方案。不过它有代价，也有不该用的场合。

## Letta 从何而来，能做什么

Letta 脱胎于 UC Berkeley 团队（Packer、Wooders、Lin、Fang、Patil、Stoica、Gonzalez）的 MemGPT 论文，论文提交于 2023 年 10 月 12 日。由于大模型受上下文窗口限制，论文提出仿照操作系统的内存层级来管理一个“虚拟上下文”。

其开源仓库采用 Apache-2.0 许可，自称是有状态 Agent 平台，明确写着前身是 MemGPT，并可通过 `letta server` 自托管。

Letta 文档把有状态 Agent 定义为能在多轮对话之间保留记忆和上下文的 Agent。为此，Letta 把状态分成两层，这两层必须分清。

第一层是记忆块（memory block）。挂载到 Agent 上的记忆块始终在上下文中，固定写在系统提示词里。记忆块可以通过 API 编辑，因此你或 Agent 本身都能查看并修改它“记着”的内容。第二层是其余一切：历史、推理过程、工具调用。它们存在数据库里，只有被选中时才进入上下文。

## 每个固定的 token，每次调用都要花钱

设想一个面向 B2B 客户的技术支持助手。你建了一个“客户档案”记忆块，记录服务套餐、客户使用的系统和过往故障。有了它，用户说过的事 Agent 就不必再问一遍。

现在算笔账。假设这个记忆块有 2,000 个 token，Agent 每天接到 1,000 次调用，仅档案一项每天就消耗 200 万个输入 token，哪怕用户问的只是“在哪里改密码？”

记忆块始终固定，每次调用都要占用上下文空间。设计时要问的是：这些信息是*每一轮*都需要，还是只在相关时查一下就够？

对话历史也有代价。Letta 承认，驱逐和摘要都会丢失信息：较早的消息会逐渐失去影响力。它的建议是只驱逐部分历史，例如 70%，以保住对话脉络。

具体来说，100 条消息快要撑满上下文时，把最早的 70 条压成摘要，保留最近 30 条原文。只出现在那 70 条里的细节，可能就此淡去。

**要点:** Agent 记忆是在决定哪些 token 进入上下文，而不是能存下多少。

## 什么时候该对客户说“不”？

第一种情况是任务本身没有真正的状态：工单分类、从发票中抽取字段、总结一份文档。直接用固定提示词调用模型，更容易调试、更容易写评测，也更便宜。在这里加一个状态数据库，只会多出几个出故障的地方。

第二种情况是敏感数据。Letta 会把用户消息和推理过程都存入数据库，所以启用之前，需要先和客户的安全团队谈清楚：数据库放在哪里，谁能读取，用户要求删除时怎么删。

用 `letta server` 自托管能让数据留在客户的基础设施上，但不能代替这场沟通。

第三种情况是客户需要系统多年保持稳定。Letta 已为新一代推理模型放弃 MemGPT 式循环，改用“Letta V1”：心跳机制和 `send_message` 工具已弃用，旧架构仍受支持。Letta 自己也记录了这次变化的得与失，例如推理过程通常只能以摘要形式获得，且无法编辑。

SDK 层也在变。Letta V1 SDK 正在弃用，让位于 Letta Agent SDK，后者最新的记忆系统是 MemFS，而 V1 只支持记忆块。如果要交付给客户，请锁定版本，并在交接文档里写明升级路径。

## 别凭一个基准分数选记忆系统

Letta 称，其仅使用文件系统的 Agent 在 LoCoMo 上得分 74.0%，而 Mem0 报告的成绩是 68.5%。这是 Letta 自己跑出的结果，看的时候要谨慎。

有意思的是，Letta 在同一篇文章里也认为，LoCoMo 这类基准可能只是弱信号；记忆质量更多取决于 Agent 如何管理上下文，而不是某种特定的检索机制。

对 FDE 来说，结论是用客户的真实对话自建评测。挑 20 个用户隔几天回来的会话，写下 Agent *必须*记住的内容，再给它是否记住打分。这比任何排行榜都更能说明问题。

## 先学什么，简历上写什么

先学概念，再学工具：上下文窗口，哪些固定，哪些查询，哪些驱逐。然后自托管一个 Letta，通过 API 编辑记忆块，观察 Agent 的回答如何变化。API 细节会随 SDK 变化，但挑选 token 的习惯始终有用。

简历上不要只写“用过 Letta”。要写你为某个 Agent 设计了记忆，决定了哪些信息固定在上下文中，测算了 token 成本，以及在哪些地方拒绝使用持久记忆。如果岗位描述提到“agent memory”或“stateful agents”，最值得准备的面试题是：你什么时候选择了*不*保留状态？

记住一切的 Agent 不一定是好 Agent。好的 FDE 知道 Agent 需要忘掉什么。

**本周动手试试:**

- 在本地运行 `letta server`，创建一个带一个记忆块的 Agent，然后通过 API 编辑这个记忆块，看 Agent 的回答怎样变化
- 选一个客户的 Agent 用例，写下哪些内容真正需要跨会话记住，估算它们每次调用占用多少 token
- 给客户写一页说明：用哪个 SDK、哪个版本，以及 V1 SDK 停止支持时的升级计划

## 信源

- [Introduction to Stateful Agents | Letta Docs](https://docs.letta.com/guides/agents/overview)

- [Agent Memory: How to Build Agents That Learn and Remember](https://www.letta.com/blog/agent-memory)

- [MemGPT: Towards LLMs as Operating Systems](https://arxiv.org/abs/2310.08560)

- [letta-ai/letta (GitHub)](https://github.com/letta-ai/letta)

- [Benchmarking AI Agent Memory: Is a Filesystem All You Need?](https://www.letta.com/blog/benchmarking-ai-agent-memory)

- [Rearchitecting Letta's Agent Loop: Lessons from ReAct, MemGPT, & Claude Code](https://www.letta.com/blog/letta-v1-agent)

- [Letta V1 SDK | Letta Docs](https://docs.letta.com/concepts/memgpt)
