FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

提示词没问题,问题出在 Agent 读到了什么

退货政策一直在上下文里,只是被聊天记录、订单表和 FAQ 淹没,真正要学的是决定模型看到什么。

分享微博

要点速览

  • 往上下文里塞更多数据并不会让模型更聪明:上下文越长,模型对其中内容的回忆越差。
  • 提示词决定模型做什么,上下文决定模型做事时知道什么;处理客户数据时,上下文才是主要抓手。
  • 只保留轻量引用,需要时再加载数据,用清晰的结构组织数据,并在触及窗口上限前先总结历史。
两栏对比退货 Agent 的上下文窗口。左栏(改造前):很长的聊天记录,一份薄薄的退货政策文件夹在三张数千行的订单表和整份 FAQ 之间。右栏(改造后):六行精简内容,分别是简短提示词、写入(进度笔记)、压缩(长历史变为总结)、选择(最匹配的 3 段政策,高亮显示)、即时检索(只有 order_id,需要时调用工具)和隔离(在单独步骤中起草邮件),下方留出一块标注的空白:争夺注意力的 token 更少。
同一个退货 Agent:全部预先加载时,政策被数据稀释;每一步单独组装上下文时,模型只看到它需要看到的内容。

进驻客户现场的第二周,演示时运行顺畅的订单客服 Agent 一碰到真实数据,就开始把退货政策说错。奇怪的是,政策文件明明就在上下文里,旁边还有聊天记录、三张订单数据表和完整的 FAQ。

很多工程师的第一反应是改提示词:多加几个大写字母,再补一句“请仔细阅读政策”。这很少奏效。问题从来不在你怎么跟模型说话,而在模型要读什么。

能对症下药的这项技能叫上下文工程(context engineering),每个处理客户数据的前线部署工程师(FDE)都需要掌握。

提示词说“做什么”,上下文决定“知道什么”

“请仔细阅读政策”只改变了你对模型说话的方式,却改变不了模型读到的政策文件混杂在聊天记录、订单表和 FAQ 之间这一事实。Elastic 在这里划了一条界线:提示词工程负责沟通,上下文工程负责模型生成回答时能获取哪些信息。

提示词工程把上下文窗口当作既定条件,上下文工程则主动筛选其中的内容。对退货 Agent 来说,筛选意味着决定三张订单表要不要放进去,FAQ 是全文放入还是只放几段。

Anthropic 将其描述为在模型推理期间筛选并维护最优的 token 集合;Prompting Guide 则强调,既要设计指令,也要设计伴随指令的上下文。

正因如此,DataHub 把提示词工程视为上下文工程的组成部分:提示词告诉模型做什么,上下文决定模型做事时知道什么。Agent 在客户那里出错时,第一个问题应该是“这一步模型看到了什么?”,重写提示词可以往后放。

为什么数据越多,Agent 反而越差?

直觉告诉我们,给模型的客户数据越多,它对情况就理解得越透。Anthropic 指出的恰恰相反:上下文越长,模型准确回忆其中信息的能力越弱,这种现象被称为上下文腐烂(context rot)。按照它的说法,大语言模型(LLM)有一份“注意力预算”,阅读大量上下文时会被逐渐耗尽。

回到退货 Agent。政策文件确实在上下文里,但它要和几十轮旧对话、几千行与问题无关的订单记录争夺注意力。模型没有坏,只是被稀释了。

LangChain 引用 Andrej Karpathy 的说法,把上下文工程描述为一门为下一步恰好填入所需信息的艺术与科学。关键词是“下一步”。上下文每一步都要重新组装,从来不是启动时一次性加载的固定存储。

每次调用模型前的四个问题

LangChain 把上下文工程策略分为四类:写入(write)、选择(select)、压缩(compress)和隔离(isolate)。为客户设计 Agent 时,它们很适合当作检查清单。

名称来自 LangChain,下面是把这四类策略用到客户 Agent 上的一种方式。按这种理解,写入指把信息保存在窗口之外,供之后复用,接近 Prompting Guide 纳入上下文工程的记忆:短期记忆(管理状态和历史)与长期记忆。

选择指只引入与当前步骤相关的数据。压缩指缩减已有内容,例如下文介绍的 compaction。按这份清单的理解,隔离指拆分工作,让每个部分只携带自己的上下文。

Anthropic 的两项具体技术分别对应选择和压缩。第一项是即时检索(just-in-time retrieval):Agent 只保留轻量标识符,例如订单 ID 或文档路径,需要时再加载真实数据,而不是预先加载全部内容。

第二项是压缩(compaction):对话接近窗口上限时,先总结已有内容,再基于总结继续。

逐行重建退货 Agent

下面是套用检查清单后退货 Agent 组装上下文的方式。代码只是示意,但结构可以直接用于实际项目。

def build_context(ticket, state):
    blocks = []

    # 固定、简短的指令,与数据分开
    blocks.append(("instructions", RETURN_AGENT_RULES))

    # 写入:读取进度笔记,而不是完整历史
    blocks.append(("progress_notes", state.notes))

    # 压缩:用总结替换过长的历史
    history = state.history
    if count_tokens(history) > HISTORY_LIMIT:
        history = summarize(history)
    blocks.append(("conversation", history))

    # 选择:只放与工单匹配的政策段落
    blocks.append(("policy", search_policy(ticket.text, top_k=3)))

    # 即时检索:只传 ID,由 Agent 调用工具获取详情
    blocks.append(("order_ref", {"order_id": ticket.order_id}))

    return render_with_tags(blocks)

第一处改动是订单表从上下文里消失了。Agent 只看到 order_id,真正需要发货日期或支付状态时,再调用工具 get_order(order_id) 取回那一条记录。几千行无关数据不再和政策文件争夺注意力。

第二处改动是结构。Prompting Guide 把用分隔符或 JSON schema 结构化输入输出列为上下文工程的组成部分。render_with_tags 函数把每个块包在各自命名的标签里,例如 policy 或 conversation,让模型能分清系统规则、客户说的话和系统数据。

输出也应该有 schema,例如 {"decision": ..., "policy_clause": ...},这样就能检查 Agent 依据的是哪一条条款。

第三处改动是隔离。如果 Agent 既要查政策,又要给客户起草邮件,就把这两件事拆成两个步骤,各用各的上下文。起草邮件这一步只需要最终决定和品牌语气,不需要十页政策。

在客户现场,从日志入手

改动任何东西之前,先把出错那次调用中模型实际收到的上下文完整抓下来。读这份日志,是检验两种可能最快的方法:所需信息被埋在一大堆内容里,或者根本不存在。

接着,为 Agent 的每一步写一行说明:这一步要做对,需要知道什么。上下文里的每个块都必须回答“这个块服务于哪一行?”。答不上来的块,就是第一批要删掉、或改成即时检索引用的对象。

最后是度量。每次修改上下文,都用同一套评测集重跑,记录两个数字:准确率和每次调用的平均 token 数。这两个数字能说服客户,也值得写进简历。

“为订单客服 Agent 重新设计上下文,在评测分数不变的情况下降低了每次调用的 token 数”,这样一句话远比“熟悉提示词工程”有分量。

反复出现的错误

最常见的错误是问题出在上下文,却去改提示词。模型看不到正确的条款,指令写得再好也救不了它。

其次是放任对话历史无限增长,直到 Agent 开始忘记客户一开始说过的话。这正是该用压缩的时候:在触及窗口上限前先总结历史,而不是等 Agent 忘掉。

第三是让工具返回原始记录。客户的 API 返回带有几百个字段的 JSON,图省事就直接塞进上下文。应该写一个薄层,只保留这一步需要的字段。

第四是数据和指令混在一起、不加分隔符,模型很难区分系统规则和客户发来的内容。

在客户现场,数据永远多于模型能关注的量。FDE 的工作就是决定哪些内容放进去,并像对待任何一段代码那样,为这个决定负责。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用Agent 忘得太快又记得太久,病根是同一个把记忆拆成上下文窗口、按线程的 checkpointer 和长期 store,并在客户问起前为每层定好删除时间。