# 提示词没问题，问题出在 Agent 读到了什么

> 退货政策一直在上下文里，只是被聊天记录、订单表和 FAQ 淹没，真正要学的是决定模型看到什么。

原文: https://fdetimes.net/zh/guides/context-engineering-customer-data/

进驻客户现场的第二周，演示时运行顺畅的订单客服 Agent 一碰到真实数据，就开始把退货政策说错。奇怪的是，政策文件明明就在上下文里，旁边还有聊天记录、三张订单数据表和完整的 FAQ。

很多工程师的第一反应是改提示词：多加几个大写字母，再补一句“请仔细阅读政策”。这很少奏效。问题从来不在你怎么跟模型说话，而在模型要读什么。

能对症下药的这项技能叫上下文工程（context engineering），每个处理客户数据的前线部署工程师（FDE）都需要掌握。

## 提示词说“做什么”，上下文决定“知道什么”

“请仔细阅读政策”只改变了你对模型说话的方式，却改变不了模型读到的政策文件混杂在聊天记录、订单表和 FAQ 之间这一事实。Elastic 在这里划了一条界线：提示词工程负责沟通，上下文工程负责模型生成回答时能获取哪些信息。

提示词工程把上下文窗口当作既定条件，上下文工程则主动筛选其中的内容。对退货 Agent 来说，筛选意味着决定三张订单表要不要放进去，FAQ 是全文放入还是只放几段。

Anthropic 将其描述为在模型推理期间筛选并维护最优的 token 集合；Prompting Guide 则强调，既要设计指令，也要设计伴随指令的上下文。

正因如此，DataHub 把提示词工程视为上下文工程的组成部分：提示词告诉模型做什么，上下文决定模型做事时知道什么。Agent 在客户那里出错时，第一个问题应该是“这一步模型看到了什么？”，重写提示词可以往后放。

## 为什么数据越多，Agent 反而越差？

直觉告诉我们，给模型的客户数据越多，它对情况就理解得越透。Anthropic 指出的恰恰相反：上下文越长，模型准确回忆其中信息的能力越弱，这种现象被称为上下文腐烂（context rot）。按照它的说法，大语言模型（LLM）有一份“注意力预算”，阅读大量上下文时会被逐渐耗尽。

回到退货 Agent。政策文件确实在上下文里，但它要和几十轮旧对话、几千行与问题无关的订单记录争夺注意力。模型没有坏，只是被稀释了。

**要点:** 放进上下文的每个 token 都会分走其他 token 的注意力，所以该问的是“这一步需要什么？”，而不是“还有什么没加进去？”。

LangChain 引用 Andrej Karpathy 的说法，把上下文工程描述为一门为下一步恰好填入所需信息的艺术与科学。关键词是“下一步”。上下文每一步都要重新组装，从来不是启动时一次性加载的固定存储。

## 每次调用模型前的四个问题

LangChain 把上下文工程策略分为四类：写入（write）、选择（select）、压缩（compress）和隔离（isolate）。为客户设计 Agent 时，它们很适合当作检查清单。

名称来自 LangChain，下面是把这四类策略用到客户 Agent 上的一种方式。按这种理解，**写入**指把信息保存在窗口之外，供之后复用，接近 Prompting Guide 纳入上下文工程的记忆：短期记忆（管理状态和历史）与长期记忆。

**选择**指只引入与当前步骤相关的数据。**压缩**指缩减已有内容，例如下文介绍的 compaction。按这份清单的理解，**隔离**指拆分工作，让每个部分只携带自己的上下文。

Anthropic 的两项具体技术分别对应选择和压缩。第一项是即时检索（just-in-time retrieval）：Agent 只保留轻量标识符，例如订单 ID 或文档路径，需要时再加载真实数据，而不是预先加载全部内容。

第二项是压缩（compaction）：对话接近窗口上限时，先总结已有内容，再基于总结继续。

## 逐行重建退货 Agent

下面是套用检查清单后退货 Agent 组装上下文的方式。代码只是示意，但结构可以直接用于实际项目。

```python
def build_context(ticket, state):
    blocks = []

    # 固定、简短的指令，与数据分开
    blocks.append(("instructions", RETURN_AGENT_RULES))

    # 写入：读取进度笔记，而不是完整历史
    blocks.append(("progress_notes", state.notes))

    # 压缩：用总结替换过长的历史
    history = state.history
    if count_tokens(history) > HISTORY_LIMIT:
        history = summarize(history)
    blocks.append(("conversation", history))

    # 选择：只放与工单匹配的政策段落
    blocks.append(("policy", search_policy(ticket.text, top_k=3)))

    # 即时检索：只传 ID，由 Agent 调用工具获取详情
    blocks.append(("order_ref", {"order_id": ticket.order_id}))

    return render_with_tags(blocks)
```

第一处改动是订单表从上下文里消失了。Agent 只看到 `order_id`，真正需要发货日期或支付状态时，再调用工具 `get_order(order_id)` 取回那一条记录。几千行无关数据不再和政策文件争夺注意力。

第二处改动是结构。Prompting Guide 把用分隔符或 JSON schema 结构化输入输出列为上下文工程的组成部分。`render_with_tags` 函数把每个块包在各自命名的标签里，例如 policy 或 conversation，让模型能分清系统规则、客户说的话和系统数据。

输出也应该有 schema，例如 `{"decision": ..., "policy_clause": ...}`，这样就能检查 Agent 依据的是哪一条条款。

第三处改动是隔离。如果 Agent 既要查政策，又要给客户起草邮件，就把这两件事拆成两个步骤，各用各的上下文。起草邮件这一步只需要最终决定和品牌语气，不需要十页政策。

## 在客户现场，从日志入手

改动任何东西之前，先把出错那次调用中模型实际收到的上下文完整抓下来。读这份日志，是检验两种可能最快的方法：所需信息被埋在一大堆内容里，或者根本不存在。

接着，为 Agent 的每一步写一行说明：这一步要做对，需要知道什么。上下文里的每个块都必须回答“这个块服务于哪一行？”。答不上来的块，就是第一批要删掉、或改成即时检索引用的对象。

最后是度量。每次修改上下文，都用同一套评测集重跑，记录两个数字：准确率和每次调用的平均 token 数。这两个数字能说服客户，也值得写进简历。

“为订单客服 Agent 重新设计上下文，在评测分数不变的情况下降低了每次调用的 token 数”，这样一句话远比“熟悉提示词工程”有分量。

## 反复出现的错误

最常见的错误是问题出在上下文，却去改提示词。模型看不到正确的条款，指令写得再好也救不了它。

其次是放任对话历史无限增长，直到 Agent 开始忘记客户一开始说过的话。这正是该用压缩的时候：在触及窗口上限前先总结历史，而不是等 Agent 忘掉。

第三是让工具返回原始记录。客户的 API 返回带有几百个字段的 JSON，图省事就直接塞进上下文。应该写一个薄层，只保留这一步需要的字段。

第四是数据和指令混在一起、不加分隔符，模型很难区分系统规则和客户发来的内容。

在客户现场，数据永远多于模型能关注的量。FDE 的工作就是决定哪些内容放进去，并像对待任何一段代码那样，为这个决定负责。

**本周动手试试:**

- 记录生产环境中某个 Agent 一次调用的完整上下文，把每个块标注为写入、选择、压缩或隔离，再标出不服务于当前步骤的块。
- 删掉一个被标出的块，重跑一小套评测集，对比前后的准确率和 token 数。
- 改写一个返回原始记录的工具，让它只返回 ID 和少量摘要字段，需要详情时由 Agent 自行调用。

## 信源

- [Effective context engineering for AI agents](https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents)

- [Context Engineering Guide](https://www.promptingguide.ai/guides/context-engineering-guide)

- [Context engineering vs. prompt engineering](https://www.elastic.co/search-labs/blog/context-engineering-vs-prompt-engineering)

- [Context Engineering vs. Prompt Engineering](https://datahub.com/blog/context-engineering-vs-prompt-engineering/)

- [Context Engineering for Agents](https://www.langchain.com/blog/context-engineering-for-agents)
