FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

提示词要不要加码,让评测分数说了算

在笔记本上用 20 条标注工单对比四种技术,只在数据证明不够时才换更重的方案。

分享微博

要点速览

  • 先从零样本开始。指令微调让新一代模型无需示例就能做好许多简单任务。
  • 少样本依然值得用,前提是示例少而多样、格式正确。CoT 对推理问题有帮助,但结果必须自己验证。
  • ReAct 是当今 Agent 循环的基础。有了 Agent 之后,往上下文里放什么,比提示词怎么措辞更重要。
四根柱子由低到高排成阶梯:零样本(橙色,从这里开始)、少样本、CoT、ReAct。每级台阶上方标注登上这一级的条件。每根柱子底部同一行写着行动提示:分数够好就停;分数不涨,先换示例;让代码核对算术;始终限制循环次数。底部箭头写着:越往上越重,token、延迟和维护成本越高。
从零样本开始,只有当 20 条工单测试集的分数表明下一级不够用时,才登上更重的一级。

2025 年 9 月,Anthropic 撰文称,上下文工程是提示词工程的自然演进。但在同一篇文章里,它仍给一项很老的技术留了位置:少样本提示。文中把示例形容为对 LLM 而言胜过千言万语的“图片”。

所以,问哪种技术已经过时,问错了方向。对前线部署工程师(FDE)来说,更实际的问题是:什么时候该换用更重的技术?每往上走一步,都会增加 token、延迟和维护成本,因此只有数据表明上一步不够用时,才值得往上走。

本文演示如何在一台笔记本上回答这个问题:构建一个小测试集,在同一任务上依次运行四种技术,依据分数而不是直觉做决定。

需要准备什么?

假设一家电商客户请你把客服工单分成四个标签:refund、shipping、account、other。这个场景是虚构的,但与你进驻客户第一周会遇到的工作非常接近。

所需材料:20 条人工标注的工单、任意一个模型的 API 访问权限,以及一个基于该 API 自行编写的 call_model(prompt) 函数。文中代码做了简化:call_model 和各个工具都是你自己的函数,并非任何厂商的 API 名称。

eval/
  tickets.jsonl      # 20 行:{"text": ..., "label": ...}
  prompts/
    zero_shot.txt
    few_shot.txt
    cot.txt
  run.py             # 调用 call_model,与 label 比对,输出准确率

第 1 步:简单任务,零样本往往就够了

零样本是指提示词中不包含任何示例或演示。它之所以可行,是因为模型经过了指令微调和基于人类反馈的强化学习(RLHF)。研究表明,指令微调能提升零样本能力,所以新一代模型通常不需要看示例,也能处理好简单任务。

将下面的客服工单归入且仅归入一个标签:
refund, shipping, account, other。
只返回标签名,不要解释。

Ticket: {text}

**检查:**跑完全部 20 条工单,记下答对的数量,这就是基线。如果它已经达到客户能接受的水平,就到此为止。逐条阅读答错的工单,因为正是这些失败告诉你是否需要第 2 步。

第 2 步:少样本仍有用武之地,前提是示例要精挑细选

少样本提示是一种实现上下文学习的方式:提示词中的示例会引导模型的回答。Anthropic 建议精选一组多样、典型、能清楚展示预期行为的示例,而不是把所有边界情况都塞进提示词。

将工单归入且仅归入一个标签:refund, shipping, account, other。

Ticket: 我上周退了货,到现在还没收到退款。
Label: refund

Ticket: 订单显示已签收,但我根本没收到。
Label: shipping

Ticket: 我改了密码之后还是登录不了。
Label: account

Ticket: {text}
Label:

最常见的错误是随手挑示例。一篇涵盖 Min 等人(2022)研究的文献综述表明,示例的格式和标签分布都会显著影响结果。如果三个示例都标为 refund,模型就会倾向于输出这个标签。

如果一个示例写“Label:”,另一个写“Label -”,输出也会同样混乱。

IBM 也指出,少样本的效果在很大程度上取决于提示词设计的质量。**检查:**把分数与基线对比,看清具体哪些工单发生了变化。如果分数没有上升,先换示例,再下结论说少样本没用。

第 3 步:CoT 用于推理问题,条件是必须验证

现在客户还想知道哪些退款工单仍在期限之内。少样本到这里通常就不再可靠了,而这恰恰是思维链被发明出来要解决的那类推理问题。

政策:客户在收货后 7 天内可申请退款。
收货日期:{received}。申请日期:{requested}。
请逐步推理,然后在一行内写出最终结论,
格式为:VERDICT: valid 或 VERDICT: invalid

IBM 提醒,CoT 可能产生听起来合理、实则错误的推理链。举个例子:10 月 3 日收货,10 月 12 日申请退款,间隔 9 天,结论必须是 invalid。一段算错天数却行文流畅的论证,照样可能得出相反的结论。

所以,凡是代码能算的,就交给代码算。下面的代码片段做了简化:

from datetime import date

def check_refund(received: date, requested: date, days: int = 7) -> bool:
    return (requested - received).days <= days

# 与模型给出的 VERDICT 比对,统计不一致的次数
assert check_refund(date(2026, 10, 3), date(2026, 10, 12)) is False

**检查:**统计模型结论与校验函数不一致的频率。如果经常不一致,不要试图写出更好的提示词,而是把计算移出模型,这也正是进入第 4 步的理由。

第 4 步:ReAct 是 Agent 的基础,但有代价

ReAct 让 LLM 以交替的方式同时生成推理轨迹和具体动作,是当今 Agent 循环的基础。在本文的例子中,模型不再自己数天数,而是调用工具查询订单,再调用第 3 步中的 check_refund 函数。

# 简化版:call_model、parse_action 和 TOOLS 都由你自己实现
history = [f"Ticket: {text}"]
for _ in range(5):                      # 务必限制循环轮数
    step = call_model(REACT_PROMPT + "\n".join(history))
    history.append(step)                # Thought + Action
    action = parse_action(step)
    if action.name == "finish":
        break
    observation = TOOLS[action.name](**action.args)
    history.append(f"Observation: {observation}")

好处是可解释性:每一步 Thought、Action 和 Observation 都能回看。代价是 ReAct 的固定结构会降低模型组织推理步骤的灵活性。不要把 ReAct 用在第 1 步的分类上,把它留给真正需要外部数据的任务。

**检查:**把答错工单的完整 history 打印出来。既然每一步都能回看,先看模型是调错了工具还是读错了观察结果,然后再考虑改写提示词。

有了 Agent 之后,上下文的内容比措辞更重要

Elastic 对这两个概念的区分很清楚:提示词工程关乎你如何与模型沟通;上下文工程关乎模型作答时手头掌握的信息,包括检索到的文档、工具结果和对话历史,也包括主动筛选哪些内容进入上下文窗口。

再看第 4 步的循环:history 每一轮都在增长。因此,接下来真正有用的工作,是决定哪些观察结果原样保留、哪些只需摘要、每条工单该检索哪段政策条文。在 REACT_PROMPT 里再改几个词,远远排在后面。

这项技能如何帮你应对客户?

进驻客户的第一周,真正能说服人的,是一个用客户自己的数据标注了 20 行的 tickets.jsonl 文件,外加一张对比各技术的分数表。花哨的 Agent 演示效果反而更差。这个测试集还能回答客户一定会问的问题:为什么不用更简单的方案?

如果你正准备申请 FDE 岗位,仔细阅读职位描述中的“evaluation”“prompt and context design”或“agent reliability”等字眼。在简历上,把“精通提示词工程”换成一句带数字的描述,例如:构建了 20 个用例的评测,证明分类环节用零样本即可,并把退款期限计算从 CoT 移到了校验代码中。

模型越强,零样本能走得越远。留给 FDE 的,是知道该在哪一步停下,并拿出数据向客户说明原因。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 3: AI 应用向量检索分不清相近编号,BM25 可以Anthropic 测试中,混合检索让检索失败减少 49%,加上重排序减少 67%,用自己的数据验证一遍。