# 提示词要不要加码，让评测分数说了算

> 在笔记本上用 20 条标注工单对比四种技术，只在数据证明不够时才换更重的方案。

原文: https://fdetimes.net/zh/guides/zero-shot-few-shot-cot-react-ticket-eval/

2025 年 9 月，Anthropic 撰文称，上下文工程是提示词工程的自然演进。但在同一篇文章里，它仍给一项很老的技术留了位置：少样本提示。文中把示例形容为对 LLM 而言胜过千言万语的“图片”。

所以，问哪种技术已经过时，问错了方向。对前线部署工程师（FDE）来说，更实际的问题是：什么时候该换用更重的技术？每往上走一步，都会增加 token、延迟和维护成本，因此只有数据表明上一步不够用时，才值得往上走。

本文演示如何在一台笔记本上回答这个问题：构建一个小测试集，在同一任务上依次运行四种技术，依据分数而不是直觉做决定。

## 需要准备什么？

假设一家电商客户请你把客服工单分成四个标签：`refund`、`shipping`、`account`、`other`。这个场景是虚构的，但与你进驻客户第一周会遇到的工作非常接近。

所需材料：20 条人工标注的工单、任意一个模型的 API 访问权限，以及一个基于该 API 自行编写的 `call_model(prompt)` 函数。文中代码做了简化：`call_model` 和各个工具都是你自己的函数，并非任何厂商的 API 名称。

```
eval/
  tickets.jsonl      # 20 行：{"text": ..., "label": ...}
  prompts/
    zero_shot.txt
    few_shot.txt
    cot.txt
  run.py             # 调用 call_model，与 label 比对，输出准确率
```

## 第 1 步：简单任务，零样本往往就够了

零样本是指提示词中不包含任何示例或演示。它之所以可行，是因为模型经过了指令微调和基于人类反馈的强化学习（RLHF）。研究表明，指令微调能提升零样本能力，所以新一代模型通常不需要看示例，也能处理好简单任务。

```
将下面的客服工单归入且仅归入一个标签：
refund, shipping, account, other。
只返回标签名，不要解释。

Ticket: {text}
```

**检查：**跑完全部 20 条工单，记下答对的数量，这就是基线。如果它已经达到客户能接受的水平，就到此为止。逐条阅读答错的工单，因为正是这些失败告诉你是否需要第 2 步。

## 第 2 步：少样本仍有用武之地，前提是示例要精挑细选

少样本提示是一种实现上下文学习的方式：提示词中的示例会引导模型的回答。Anthropic 建议精选一组多样、典型、能清楚展示预期行为的示例，而不是把所有边界情况都塞进提示词。

```
将工单归入且仅归入一个标签：refund, shipping, account, other。

Ticket: 我上周退了货，到现在还没收到退款。
Label: refund

Ticket: 订单显示已签收，但我根本没收到。
Label: shipping

Ticket: 我改了密码之后还是登录不了。
Label: account

Ticket: {text}
Label:
```

最常见的错误是随手挑示例。一篇涵盖 Min 等人（2022）研究的文献综述表明，示例的格式和标签分布都会显著影响结果。如果三个示例都标为 `refund`，模型就会倾向于输出这个标签。

如果一个示例写“Label:”，另一个写“Label -”，输出也会同样混乱。

IBM 也指出，少样本的效果在很大程度上取决于提示词设计的质量。**检查：**把分数与基线对比，看清具体哪些工单发生了变化。如果分数没有上升，先换示例，再下结论说少样本没用。

## 第 3 步：CoT 用于推理问题，条件是必须验证

现在客户还想知道哪些退款工单仍在期限之内。少样本到这里通常就不再可靠了，而这恰恰是思维链被发明出来要解决的那类推理问题。

```
政策：客户在收货后 7 天内可申请退款。
收货日期：{received}。申请日期：{requested}。
请逐步推理，然后在一行内写出最终结论，
格式为：VERDICT: valid 或 VERDICT: invalid
```

IBM 提醒，CoT 可能产生听起来合理、实则错误的推理链。举个例子：10 月 3 日收货，10 月 12 日申请退款，间隔 9 天，结论必须是 invalid。一段算错天数却行文流畅的论证，照样可能得出相反的结论。

所以，凡是代码能算的，就交给代码算。下面的代码片段做了简化：

```python
from datetime import date

def check_refund(received: date, requested: date, days: int = 7) -> bool:
    return (requested - received).days <= days

# 与模型给出的 VERDICT 比对，统计不一致的次数
assert check_refund(date(2026, 10, 3), date(2026, 10, 12)) is False
```

**检查：**统计模型结论与校验函数不一致的频率。如果经常不一致，不要试图写出更好的提示词，而是把计算移出模型，这也正是进入第 4 步的理由。

**要点:** 推理链写得再漂亮，也证明不了结论正确。凡是代码能检查的步骤，都用代码检查。

## 第 4 步：ReAct 是 Agent 的基础，但有代价

ReAct 让 LLM 以交替的方式同时生成推理轨迹和具体动作，是当今 Agent 循环的基础。在本文的例子中，模型不再自己数天数，而是调用工具查询订单，再调用第 3 步中的 `check_refund` 函数。

```python
# 简化版：call_model、parse_action 和 TOOLS 都由你自己实现
history = [f"Ticket: {text}"]
for _ in range(5):                      # 务必限制循环轮数
    step = call_model(REACT_PROMPT + "\n".join(history))
    history.append(step)                # Thought + Action
    action = parse_action(step)
    if action.name == "finish":
        break
    observation = TOOLS[action.name](**action.args)
    history.append(f"Observation: {observation}")
```

好处是可解释性：每一步 Thought、Action 和 Observation 都能回看。代价是 ReAct 的固定结构会降低模型组织推理步骤的灵活性。不要把 ReAct 用在第 1 步的分类上，把它留给真正需要外部数据的任务。

**检查：**把答错工单的完整 `history` 打印出来。既然每一步都能回看，先看模型是调错了工具还是读错了观察结果，然后再考虑改写提示词。

## 有了 Agent 之后，上下文的内容比措辞更重要

Elastic 对这两个概念的区分很清楚：提示词工程关乎你如何与模型沟通；上下文工程关乎模型作答时手头掌握的信息，包括检索到的文档、工具结果和对话历史，也包括主动筛选哪些内容进入上下文窗口。

再看第 4 步的循环：`history` 每一轮都在增长。因此，接下来真正有用的工作，是决定哪些观察结果原样保留、哪些只需摘要、每条工单该检索哪段政策条文。在 `REACT_PROMPT` 里再改几个词，远远排在后面。

## 这项技能如何帮你应对客户？

进驻客户的第一周，真正能说服人的，是一个用客户自己的数据标注了 20 行的 `tickets.jsonl` 文件，外加一张对比各技术的分数表。花哨的 Agent 演示效果反而更差。这个测试集还能回答客户一定会问的问题：为什么不用更简单的方案？

如果你正准备申请 FDE 岗位，仔细阅读职位描述中的“evaluation”“prompt and context design”或“agent reliability”等字眼。在简历上，把“精通提示词工程”换成一句带数字的描述，例如：构建了 20 个用例的评测，证明分类环节用零样本即可，并把退款期限计算从 CoT 移到了校验代码中。

模型越强，零样本能走得越远。留给 FDE 的，是知道该在哪一步停下，并拿出数据向客户说明原因。

**本周动手试试:**

- 从你所在领域人工标注 20 条真实工单或邮件（去除个人信息），然后运行零样本提示词，得到基线分数
- 加入 3 个少样本示例，每个使用不同标签，把分数与基线对比，并记下哪些工单发生了变化
- 针对一条涉及计算的规则（退货期限、消费限额），写一个 Python 函数复核 CoT 的结论，统计模型推理听起来合理却出错的频率

## 信源

- [Effective context engineering for AI agents](https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents)

- [Context engineering vs. prompt engineering](https://www.elastic.co/search-labs/blog/context-engineering-vs-prompt-engineering)

- [Zero-Shot Prompting](https://www.promptingguide.ai/techniques/zeroshot)

- [Few-Shot Prompting](https://www.promptingguide.ai/techniques/fewshot)

- [What is few shot prompting?](https://www.ibm.com/think/topics/few-shot-prompting)

- [What is chain of thought (CoT) prompting?](https://www.ibm.com/think/topics/chain-of-thoughts)

- [ReAct Prompting](https://www.promptingguide.ai/techniques/react)
