提示词要不要加码,让评测分数说了算
在笔记本上用 20 条标注工单对比四种技术,只在数据证明不够时才换更重的方案。
要点速览
- 先从零样本开始。指令微调让新一代模型无需示例就能做好许多简单任务。
- 少样本依然值得用,前提是示例少而多样、格式正确。CoT 对推理问题有帮助,但结果必须自己验证。
- ReAct 是当今 Agent 循环的基础。有了 Agent 之后,往上下文里放什么,比提示词怎么措辞更重要。
2025 年 9 月,Anthropic 撰文称,上下文工程是提示词工程的自然演进。但在同一篇文章里,它仍给一项很老的技术留了位置:少样本提示。文中把示例形容为对 LLM 而言胜过千言万语的“图片”。
所以,问哪种技术已经过时,问错了方向。对前线部署工程师(FDE)来说,更实际的问题是:什么时候该换用更重的技术?每往上走一步,都会增加 token、延迟和维护成本,因此只有数据表明上一步不够用时,才值得往上走。
本文演示如何在一台笔记本上回答这个问题:构建一个小测试集,在同一任务上依次运行四种技术,依据分数而不是直觉做决定。
需要准备什么?
假设一家电商客户请你把客服工单分成四个标签:refund、shipping、account、other。这个场景是虚构的,但与你进驻客户第一周会遇到的工作非常接近。
所需材料:20 条人工标注的工单、任意一个模型的 API 访问权限,以及一个基于该 API 自行编写的 call_model(prompt) 函数。文中代码做了简化:call_model 和各个工具都是你自己的函数,并非任何厂商的 API 名称。
eval/
tickets.jsonl # 20 行:{"text": ..., "label": ...}
prompts/
zero_shot.txt
few_shot.txt
cot.txt
run.py # 调用 call_model,与 label 比对,输出准确率
第 1 步:简单任务,零样本往往就够了
零样本是指提示词中不包含任何示例或演示。它之所以可行,是因为模型经过了指令微调和基于人类反馈的强化学习(RLHF)。研究表明,指令微调能提升零样本能力,所以新一代模型通常不需要看示例,也能处理好简单任务。
将下面的客服工单归入且仅归入一个标签:
refund, shipping, account, other。
只返回标签名,不要解释。
Ticket: {text}
**检查:**跑完全部 20 条工单,记下答对的数量,这就是基线。如果它已经达到客户能接受的水平,就到此为止。逐条阅读答错的工单,因为正是这些失败告诉你是否需要第 2 步。
第 2 步:少样本仍有用武之地,前提是示例要精挑细选
少样本提示是一种实现上下文学习的方式:提示词中的示例会引导模型的回答。Anthropic 建议精选一组多样、典型、能清楚展示预期行为的示例,而不是把所有边界情况都塞进提示词。
将工单归入且仅归入一个标签:refund, shipping, account, other。
Ticket: 我上周退了货,到现在还没收到退款。
Label: refund
Ticket: 订单显示已签收,但我根本没收到。
Label: shipping
Ticket: 我改了密码之后还是登录不了。
Label: account
Ticket: {text}
Label:
最常见的错误是随手挑示例。一篇涵盖 Min 等人(2022)研究的文献综述表明,示例的格式和标签分布都会显著影响结果。如果三个示例都标为 refund,模型就会倾向于输出这个标签。
如果一个示例写“Label:”,另一个写“Label -”,输出也会同样混乱。
IBM 也指出,少样本的效果在很大程度上取决于提示词设计的质量。**检查:**把分数与基线对比,看清具体哪些工单发生了变化。如果分数没有上升,先换示例,再下结论说少样本没用。
第 3 步:CoT 用于推理问题,条件是必须验证
现在客户还想知道哪些退款工单仍在期限之内。少样本到这里通常就不再可靠了,而这恰恰是思维链被发明出来要解决的那类推理问题。
政策:客户在收货后 7 天内可申请退款。
收货日期:{received}。申请日期:{requested}。
请逐步推理,然后在一行内写出最终结论,
格式为:VERDICT: valid 或 VERDICT: invalid
IBM 提醒,CoT 可能产生听起来合理、实则错误的推理链。举个例子:10 月 3 日收货,10 月 12 日申请退款,间隔 9 天,结论必须是 invalid。一段算错天数却行文流畅的论证,照样可能得出相反的结论。
所以,凡是代码能算的,就交给代码算。下面的代码片段做了简化:
from datetime import date
def check_refund(received: date, requested: date, days: int = 7) -> bool:
return (requested - received).days <= days
# 与模型给出的 VERDICT 比对,统计不一致的次数
assert check_refund(date(2026, 10, 3), date(2026, 10, 12)) is False
**检查:**统计模型结论与校验函数不一致的频率。如果经常不一致,不要试图写出更好的提示词,而是把计算移出模型,这也正是进入第 4 步的理由。
第 4 步:ReAct 是 Agent 的基础,但有代价
ReAct 让 LLM 以交替的方式同时生成推理轨迹和具体动作,是当今 Agent 循环的基础。在本文的例子中,模型不再自己数天数,而是调用工具查询订单,再调用第 3 步中的 check_refund 函数。
# 简化版:call_model、parse_action 和 TOOLS 都由你自己实现
history = [f"Ticket: {text}"]
for _ in range(5): # 务必限制循环轮数
step = call_model(REACT_PROMPT + "\n".join(history))
history.append(step) # Thought + Action
action = parse_action(step)
if action.name == "finish":
break
observation = TOOLS[action.name](**action.args)
history.append(f"Observation: {observation}")
好处是可解释性:每一步 Thought、Action 和 Observation 都能回看。代价是 ReAct 的固定结构会降低模型组织推理步骤的灵活性。不要把 ReAct 用在第 1 步的分类上,把它留给真正需要外部数据的任务。
**检查:**把答错工单的完整 history 打印出来。既然每一步都能回看,先看模型是调错了工具还是读错了观察结果,然后再考虑改写提示词。
有了 Agent 之后,上下文的内容比措辞更重要
Elastic 对这两个概念的区分很清楚:提示词工程关乎你如何与模型沟通;上下文工程关乎模型作答时手头掌握的信息,包括检索到的文档、工具结果和对话历史,也包括主动筛选哪些内容进入上下文窗口。
再看第 4 步的循环:history 每一轮都在增长。因此,接下来真正有用的工作,是决定哪些观察结果原样保留、哪些只需摘要、每条工单该检索哪段政策条文。在 REACT_PROMPT 里再改几个词,远远排在后面。
这项技能如何帮你应对客户?
进驻客户的第一周,真正能说服人的,是一个用客户自己的数据标注了 20 行的 tickets.jsonl 文件,外加一张对比各技术的分数表。花哨的 Agent 演示效果反而更差。这个测试集还能回答客户一定会问的问题:为什么不用更简单的方案?
如果你正准备申请 FDE 岗位,仔细阅读职位描述中的“evaluation”“prompt and context design”或“agent reliability”等字眼。在简历上,把“精通提示词工程”换成一句带数字的描述,例如:构建了 20 个用例的评测,证明分类环节用零样本即可,并把退款期限计算从 CoT 移到了校验代码中。
模型越强,零样本能走得越远。留给 FDE 的,是知道该在哪一步停下,并拿出数据向客户说明原因。
这篇文章对你有帮助吗?
感谢你的反馈!