提示词没问题,问题出在 Agent 读到了什么
退货政策一直在上下文里,只是被聊天记录、订单表和 FAQ 淹没,真正要学的是决定模型看到什么。
要点速览
- 往上下文里塞更多数据并不会让模型更聪明:上下文越长,模型对其中内容的回忆越差。
- 提示词决定模型做什么,上下文决定模型做事时知道什么;处理客户数据时,上下文才是主要抓手。
- 只保留轻量引用,需要时再加载数据,用清晰的结构组织数据,并在触及窗口上限前先总结历史。
进驻客户现场的第二周,演示时运行顺畅的订单客服 Agent 一碰到真实数据,就开始把退货政策说错。奇怪的是,政策文件明明就在上下文里,旁边还有聊天记录、三张订单数据表和完整的 FAQ。
很多工程师的第一反应是改提示词:多加几个大写字母,再补一句“请仔细阅读政策”。这很少奏效。问题从来不在你怎么跟模型说话,而在模型要读什么。
能对症下药的这项技能叫上下文工程(context engineering),每个处理客户数据的前线部署工程师(FDE)都需要掌握。
提示词说“做什么”,上下文决定“知道什么”
“请仔细阅读政策”只改变了你对模型说话的方式,却改变不了模型读到的政策文件混杂在聊天记录、订单表和 FAQ 之间这一事实。Elastic 在这里划了一条界线:提示词工程负责沟通,上下文工程负责模型生成回答时能获取哪些信息。
提示词工程把上下文窗口当作既定条件,上下文工程则主动筛选其中的内容。对退货 Agent 来说,筛选意味着决定三张订单表要不要放进去,FAQ 是全文放入还是只放几段。
Anthropic 将其描述为在模型推理期间筛选并维护最优的 token 集合;Prompting Guide 则强调,既要设计指令,也要设计伴随指令的上下文。
正因如此,DataHub 把提示词工程视为上下文工程的组成部分:提示词告诉模型做什么,上下文决定模型做事时知道什么。Agent 在客户那里出错时,第一个问题应该是“这一步模型看到了什么?”,重写提示词可以往后放。
为什么数据越多,Agent 反而越差?
直觉告诉我们,给模型的客户数据越多,它对情况就理解得越透。Anthropic 指出的恰恰相反:上下文越长,模型准确回忆其中信息的能力越弱,这种现象被称为上下文腐烂(context rot)。按照它的说法,大语言模型(LLM)有一份“注意力预算”,阅读大量上下文时会被逐渐耗尽。
回到退货 Agent。政策文件确实在上下文里,但它要和几十轮旧对话、几千行与问题无关的订单记录争夺注意力。模型没有坏,只是被稀释了。
LangChain 引用 Andrej Karpathy 的说法,把上下文工程描述为一门为下一步恰好填入所需信息的艺术与科学。关键词是“下一步”。上下文每一步都要重新组装,从来不是启动时一次性加载的固定存储。
每次调用模型前的四个问题
LangChain 把上下文工程策略分为四类:写入(write)、选择(select)、压缩(compress)和隔离(isolate)。为客户设计 Agent 时,它们很适合当作检查清单。
名称来自 LangChain,下面是把这四类策略用到客户 Agent 上的一种方式。按这种理解,写入指把信息保存在窗口之外,供之后复用,接近 Prompting Guide 纳入上下文工程的记忆:短期记忆(管理状态和历史)与长期记忆。
选择指只引入与当前步骤相关的数据。压缩指缩减已有内容,例如下文介绍的 compaction。按这份清单的理解,隔离指拆分工作,让每个部分只携带自己的上下文。
Anthropic 的两项具体技术分别对应选择和压缩。第一项是即时检索(just-in-time retrieval):Agent 只保留轻量标识符,例如订单 ID 或文档路径,需要时再加载真实数据,而不是预先加载全部内容。
第二项是压缩(compaction):对话接近窗口上限时,先总结已有内容,再基于总结继续。
逐行重建退货 Agent
下面是套用检查清单后退货 Agent 组装上下文的方式。代码只是示意,但结构可以直接用于实际项目。
def build_context(ticket, state):
blocks = []
# 固定、简短的指令,与数据分开
blocks.append(("instructions", RETURN_AGENT_RULES))
# 写入:读取进度笔记,而不是完整历史
blocks.append(("progress_notes", state.notes))
# 压缩:用总结替换过长的历史
history = state.history
if count_tokens(history) > HISTORY_LIMIT:
history = summarize(history)
blocks.append(("conversation", history))
# 选择:只放与工单匹配的政策段落
blocks.append(("policy", search_policy(ticket.text, top_k=3)))
# 即时检索:只传 ID,由 Agent 调用工具获取详情
blocks.append(("order_ref", {"order_id": ticket.order_id}))
return render_with_tags(blocks)
第一处改动是订单表从上下文里消失了。Agent 只看到 order_id,真正需要发货日期或支付状态时,再调用工具 get_order(order_id) 取回那一条记录。几千行无关数据不再和政策文件争夺注意力。
第二处改动是结构。Prompting Guide 把用分隔符或 JSON schema 结构化输入输出列为上下文工程的组成部分。render_with_tags 函数把每个块包在各自命名的标签里,例如 policy 或 conversation,让模型能分清系统规则、客户说的话和系统数据。
输出也应该有 schema,例如 {"decision": ..., "policy_clause": ...},这样就能检查 Agent 依据的是哪一条条款。
第三处改动是隔离。如果 Agent 既要查政策,又要给客户起草邮件,就把这两件事拆成两个步骤,各用各的上下文。起草邮件这一步只需要最终决定和品牌语气,不需要十页政策。
在客户现场,从日志入手
改动任何东西之前,先把出错那次调用中模型实际收到的上下文完整抓下来。读这份日志,是检验两种可能最快的方法:所需信息被埋在一大堆内容里,或者根本不存在。
接着,为 Agent 的每一步写一行说明:这一步要做对,需要知道什么。上下文里的每个块都必须回答“这个块服务于哪一行?”。答不上来的块,就是第一批要删掉、或改成即时检索引用的对象。
最后是度量。每次修改上下文,都用同一套评测集重跑,记录两个数字:准确率和每次调用的平均 token 数。这两个数字能说服客户,也值得写进简历。
“为订单客服 Agent 重新设计上下文,在评测分数不变的情况下降低了每次调用的 token 数”,这样一句话远比“熟悉提示词工程”有分量。
反复出现的错误
最常见的错误是问题出在上下文,却去改提示词。模型看不到正确的条款,指令写得再好也救不了它。
其次是放任对话历史无限增长,直到 Agent 开始忘记客户一开始说过的话。这正是该用压缩的时候:在触及窗口上限前先总结历史,而不是等 Agent 忘掉。
第三是让工具返回原始记录。客户的 API 返回带有几百个字段的 JSON,图省事就直接塞进上下文。应该写一个薄层,只保留这一步需要的字段。
第四是数据和指令混在一起、不加分隔符,模型很难区分系统规则和客户发来的内容。
在客户现场,数据永远多于模型能关注的量。FDE 的工作就是决定哪些内容放进去,并像对待任何一段代码那样,为这个决定负责。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Effective context engineering for AI agents · 2025-09-29
- Context Engineering Guide
- Context engineering vs. prompt engineering · 2026-01-20
- Context Engineering vs. Prompt Engineering · 2026-04-20
- Context Engineering for Agents · 2025-07-02