# 把客户 SOP 写成提示词，先写测试

> 模型输出随快照变化，只有答案已知的历史案例，才能证明提示词下个月依然可靠。

原文: https://fdetimes.net/zh/guides/turn-client-sop-into-llm-prompt/

OpenAI 的 API 文档里有一句话，每位前线部署工程师（FDE）都该贴在显示器上：LLM 的输出具有不确定性，模型行为会在不同快照、不同模型系列之间发生变化。一个今天给客户带来完美演示的提示词，下个月可能在没人改动一个字的情况下悄悄走样。

和客户合作时，最好的指令来源通常已经在他们手里：标准作业程序，也就是 SOP。新员工靠它学习如何处理退款申请、如何给投诉分类。你的工作是把同一份文档变成模型能稳定遵循的提示词，并且**证明**它确实做到了。

本指南用一个假设的例子从头走到尾。整体结构来自 Google Prompting Essentials 课程的五个步骤（任务、上下文、参考、评估、迭代），细节则来自 Anthropic 的提示词写作指南。

## 要做出什么，需要准备什么？

假设客户经营一个电商平台，有一份处理退款申请的 SOP。你需要交付两样东西。第一是一个提示词：接收买家的申请，返回一个决定（批准、拒绝或转人工）并附上理由。第二是一组用来给这个提示词打分的测试用例。

你需要最新版的 SOP，以及一批员工处理过、记录了正确决定的历史案例。还需要能调用的模型，以及一位从没读过这份 SOP 的同事。别省掉这位同事：第 6 步要用到。

## 第 1 步：先写测试，再写提示词

本能反应是打开编辑器开始写提示词。反过来做。OpenAI 建议先建立衡量模型输出的评测，确立基线，然后再迭代：修改提示词，再次测量。针对 SOP，评测集用客户的历史案例来搭建；基线数字在第 2 步得到，即你把第一版提示词放进这套测试集跑一遍的时候。

下面的格式只是为了演示而采用的一种简单组织方式，并非必须遵守的标准：

```
{"id": "c01", "input": "订单晚到 6 天，买家申请退款", "expected": "approve"}
{"id": "c02", "input": "买家已使用商品，改变主意后申请退款", "expected": "reject"}
{"id": "c03", "input": "高价订单，证明缺陷的照片模糊不清", "expected": "escalate"}
```

**检查：**每个用例的答案都必须由客户的运营负责人确认，而不是你自己猜的。测试集还必须包含难例，也就是员工当时需要请示主管的那些案例。全是简单用例的测试集只会给出一个好看却毫无信息量的分数。

## 第 2 步：一句话定角色，一句话定任务

Anthropic 指出，在系统提示词中设定角色，有助于模型聚焦于适合你用例的行为和语气，哪怕只有一句话也有效果。这一步成本极低。接下来是 Google 框架中的*任务*部分：用一句话讲清楚输出是什么。

```
你是平台的退款处理专员，严格遵循内部流程。
任务：阅读 request 标签中的申请，返回一个决定
（approve / reject / escalate），并附上简短理由，引用相关的 SOP 步骤。
```

**检查：**立刻用第 1 步的测试集跑一遍这个粗糙版本。现在记下的数字就是你的基线，此后每一次修改都要和它对比。

## 第 3 步：保留 SOP 的顺序，并补上“因为”

SOP 通常按第 1 步、第 2 步、第 3 步写成，这对你有利。Anthropic 建议，在顺序重要或每一步都必须完成时使用编号列表，同时明确说明输出格式和约束。所以不要把步骤合并成一段话。

不过，照抄规则还不够。按照 Anthropic 的说法，解释一条指令背后的理由，有助于模型理解你的目标。对比下面两个版本：

```
修改前：金额超过高价阈值的订单转人工处理。

修改后：金额超过高价阈值的订单转人工处理，
        因为这类订单一旦决定错误会造成较大损失，
        需要有权限的人签字确认。
```

第二个版本告诉了模型这条规则为什么存在。于是，当它遇到 SOP 没有预料到的情况，比如一笔带有欺诈迹象的低价订单，模型就有依据选择转人工，而不是瞎猜。

每条规则背后的理由通常装在操作人员的脑子里，而不在文档里，所以你得去问他们。

## 第 4 步：用标签分隔规则、文档和输入

一个真实的 SOP 提示词往往同时包含几样东西：主流程、政策附录、示例，以及待处理的申请。Anthropic 建议在内容有天然层级时嵌套使用 XML 标签，例如把文档放进 documents 标签，每份文档放进一个带 index 属性的 document 标签。

为了显示整洁，下文的示例代码块用方括号代替 XML 标签的尖括号；在真实的提示词中，请使用尖括号。

```
[documents]
  [document index="1"] 退款 SOP，带理由的编号步骤 [/document]
  [document index="2"] 附录：不可退款商品清单 [/document]
[/documents]
[examples]
  ……见第 5 步……
[/examples]
[request]
  ……买家的申请……
[/request]
```

**检查：**重读提示词，看有没有哪句话落在标签之外，可能被模型误当成输入数据。如果有，把它挪到正确的位置。

## 第 5 步：把 SOP 的例外情况变成示例

Anthropic 称，示例是引导输出格式、语气和结构最可靠的方法之一。好的示例必须贴近用例，并且足够多样：既要覆盖边界情况，彼此之间也要有足够差异，免得模型学到你本无意教给它的模式。

SOP 中的“注意事项”和“特殊情况”部分就是现成的示例来源。从真实历史案例中选取，并把每个示例包进 example 标签，让模型分得清示例和指令：

```
[example]
  [request] 低价订单，买家一周内提交了 3 次退款申请 [/request]
  [decision] escalate [/decision]
  [reason] 第 5 步：申请频率异常，需要人工审核。 [/reason]
[/example]
```

**常见错误：**三个示例的结果全是“approve”。模型可能会得出结论，认为批准是稳妥的答案。要让示例在各个决定分支之间均匀分布。另外，不要把测试集里的用例拿来当示例，否则分数会虚高。

## 第 6 步：先交给同事，再交给模型

Anthropic 有一条“黄金法则”：把提示词拿给一位对这项任务几乎一无所知的同事，请对方照着做。如果对方感到困惑，模型也会。这个测试非常适合 SOP，因为 SOP 往往默认读者早已熟悉公司的内部文化。

**要点:** 同事提出的每一个问题，都指向提示词依赖内部知识的地方。

比如同事问：“高价阈值是多少？”这是客户从没写进 SOP 的数字。去问客户，把这个数字写进提示词，再补一个恰好落在阈值上的测试用例。

## 第 7 步：测量、修正，模型变更时再测一遍

Google 的课程把评估输出和优化提示词视为获得理想结果的关键。换句话说，SOP 提示词永远不是写一次就完事。每次修改后，都要重跑整套测试集，并与第 2 步的基线对比。

一次只改一处，这样你才能确切知道是哪项改动让分数上升或下降。

交付并不意味着工作结束。由于模型行为会在快照之间变化，客户每次升级模型时，你的测试集就成了回归测试集。从一开始就和客户约定：测试集通过之前，谁都不能切换生产环境的模型。

## 为什么最难的部分在客户那边？

回顾这七个步骤，大部分原材料都在客户手里：每条规则背后的理由、答案已知的历史案例、没人写下来的阈值。所以规划真实项目时，留给和操作人员坐在一起的时间，要比留给斟酌字句的时间多。

提示词只是你对客户流程理解程度的一份记录。

阅读 FDE 岗位描述时有个窍门：凡是提到评测、与运营团队合作、把业务流程变成可用系统的条目，都是这项技能的用武之地。简历上不要写“精通提示词工程”。

要写具体：你用多少个历史案例搭建了评测集，准确率比基线提高了多少，模型变更时你如何发现了回归问题。

客户不会记得你的提示词写得多漂亮。他们会记得那一天：供应商发布了新模型，而你的测试集在错误波及买家之前就把它拦了下来。

**本周动手试试:**

- 选一个你手头已有的流程，比如审查 pull request 或处理工单，写下 10 个带正确答案的案例，跑一遍第一版提示词，拿到基线。
- 把一份流程文档中的 3 条规则改写成“规则 + 原因”，然后在同一组案例上对比改写前后的输出。
- 把提示词交给一位完全不了解该流程的同事。记下对方需要提问的每一处，优先修正这些地方。

## 信源

- [Google Prompting Essentials Specialization (Coursera)](https://www.coursera.org/specializations/prompting-essentials-google)

- [Prompting best practices (Claude Platform Docs)](https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices)

- [Model optimization (OpenAI API docs)](https://developers.openai.com/api/docs/guides/model-optimization.md)
