FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

把客户 SOP 写成提示词,先写测试

模型输出随快照变化,只有答案已知的历史案例,才能证明提示词下个月依然可靠。

分享微博

要点速览

  • LLM 的输出具有不确定性,且会随模型快照变化,今天好用的提示词,每次换模型后仍需重新检验。
  • SOP 本来就是编号步骤。保留原有顺序,并为每条规则补上背后的理由,模型才能处理 SOP 没提到的情况。
  • SOP 中的例外情况是最好的示例来源。用 example 标签包起来,避免模型把示例和指令混为一谈。
示意图展示围绕一组测试用例的循环:运行全部测试、与基线对比、修改一处,然后再次运行。一个写着“新模型快照”的橙色方框在“运行全部测试”这一步进入循环。
测试集先于提示词出现,并在客户每次升级模型时充当回归检查。

OpenAI 的 API 文档里有一句话,每位前线部署工程师(FDE)都该贴在显示器上:LLM 的输出具有不确定性,模型行为会在不同快照、不同模型系列之间发生变化。一个今天给客户带来完美演示的提示词,下个月可能在没人改动一个字的情况下悄悄走样。

和客户合作时,最好的指令来源通常已经在他们手里:标准作业程序,也就是 SOP。新员工靠它学习如何处理退款申请、如何给投诉分类。你的工作是把同一份文档变成模型能稳定遵循的提示词,并且证明它确实做到了。

本指南用一个假设的例子从头走到尾。整体结构来自 Google Prompting Essentials 课程的五个步骤(任务、上下文、参考、评估、迭代),细节则来自 Anthropic 的提示词写作指南。

要做出什么,需要准备什么?

假设客户经营一个电商平台,有一份处理退款申请的 SOP。你需要交付两样东西。第一是一个提示词:接收买家的申请,返回一个决定(批准、拒绝或转人工)并附上理由。第二是一组用来给这个提示词打分的测试用例。

你需要最新版的 SOP,以及一批员工处理过、记录了正确决定的历史案例。还需要能调用的模型,以及一位从没读过这份 SOP 的同事。别省掉这位同事:第 6 步要用到。

第 1 步:先写测试,再写提示词

本能反应是打开编辑器开始写提示词。反过来做。OpenAI 建议先建立衡量模型输出的评测,确立基线,然后再迭代:修改提示词,再次测量。针对 SOP,评测集用客户的历史案例来搭建;基线数字在第 2 步得到,即你把第一版提示词放进这套测试集跑一遍的时候。

下面的格式只是为了演示而采用的一种简单组织方式,并非必须遵守的标准:

{"id": "c01", "input": "订单晚到 6 天,买家申请退款", "expected": "approve"}
{"id": "c02", "input": "买家已使用商品,改变主意后申请退款", "expected": "reject"}
{"id": "c03", "input": "高价订单,证明缺陷的照片模糊不清", "expected": "escalate"}

**检查:**每个用例的答案都必须由客户的运营负责人确认,而不是你自己猜的。测试集还必须包含难例,也就是员工当时需要请示主管的那些案例。全是简单用例的测试集只会给出一个好看却毫无信息量的分数。

第 2 步:一句话定角色,一句话定任务

Anthropic 指出,在系统提示词中设定角色,有助于模型聚焦于适合你用例的行为和语气,哪怕只有一句话也有效果。这一步成本极低。接下来是 Google 框架中的任务部分:用一句话讲清楚输出是什么。

你是平台的退款处理专员,严格遵循内部流程。
任务:阅读 request 标签中的申请,返回一个决定
(approve / reject / escalate),并附上简短理由,引用相关的 SOP 步骤。

**检查:**立刻用第 1 步的测试集跑一遍这个粗糙版本。现在记下的数字就是你的基线,此后每一次修改都要和它对比。

第 3 步:保留 SOP 的顺序,并补上“因为”

SOP 通常按第 1 步、第 2 步、第 3 步写成,这对你有利。Anthropic 建议,在顺序重要或每一步都必须完成时使用编号列表,同时明确说明输出格式和约束。所以不要把步骤合并成一段话。

不过,照抄规则还不够。按照 Anthropic 的说法,解释一条指令背后的理由,有助于模型理解你的目标。对比下面两个版本:

修改前:金额超过高价阈值的订单转人工处理。

修改后:金额超过高价阈值的订单转人工处理,
        因为这类订单一旦决定错误会造成较大损失,
        需要有权限的人签字确认。

第二个版本告诉了模型这条规则为什么存在。于是,当它遇到 SOP 没有预料到的情况,比如一笔带有欺诈迹象的低价订单,模型就有依据选择转人工,而不是瞎猜。

每条规则背后的理由通常装在操作人员的脑子里,而不在文档里,所以你得去问他们。

第 4 步:用标签分隔规则、文档和输入

一个真实的 SOP 提示词往往同时包含几样东西:主流程、政策附录、示例,以及待处理的申请。Anthropic 建议在内容有天然层级时嵌套使用 XML 标签,例如把文档放进 documents 标签,每份文档放进一个带 index 属性的 document 标签。

为了显示整洁,下文的示例代码块用方括号代替 XML 标签的尖括号;在真实的提示词中,请使用尖括号。

[documents]
  [document index="1"] 退款 SOP,带理由的编号步骤 [/document]
  [document index="2"] 附录:不可退款商品清单 [/document]
[/documents]
[examples]
  ……见第 5 步……
[/examples]
[request]
  ……买家的申请……
[/request]

**检查:**重读提示词,看有没有哪句话落在标签之外,可能被模型误当成输入数据。如果有,把它挪到正确的位置。

第 5 步:把 SOP 的例外情况变成示例

Anthropic 称,示例是引导输出格式、语气和结构最可靠的方法之一。好的示例必须贴近用例,并且足够多样:既要覆盖边界情况,彼此之间也要有足够差异,免得模型学到你本无意教给它的模式。

SOP 中的“注意事项”和“特殊情况”部分就是现成的示例来源。从真实历史案例中选取,并把每个示例包进 example 标签,让模型分得清示例和指令:

[example]
  [request] 低价订单,买家一周内提交了 3 次退款申请 [/request]
  [decision] escalate [/decision]
  [reason] 第 5 步:申请频率异常,需要人工审核。 [/reason]
[/example]

**常见错误:**三个示例的结果全是“approve”。模型可能会得出结论,认为批准是稳妥的答案。要让示例在各个决定分支之间均匀分布。另外,不要把测试集里的用例拿来当示例,否则分数会虚高。

第 6 步:先交给同事,再交给模型

Anthropic 有一条“黄金法则”:把提示词拿给一位对这项任务几乎一无所知的同事,请对方照着做。如果对方感到困惑,模型也会。这个测试非常适合 SOP,因为 SOP 往往默认读者早已熟悉公司的内部文化。

比如同事问:“高价阈值是多少?”这是客户从没写进 SOP 的数字。去问客户,把这个数字写进提示词,再补一个恰好落在阈值上的测试用例。

第 7 步:测量、修正,模型变更时再测一遍

Google 的课程把评估输出和优化提示词视为获得理想结果的关键。换句话说,SOP 提示词永远不是写一次就完事。每次修改后,都要重跑整套测试集,并与第 2 步的基线对比。

一次只改一处,这样你才能确切知道是哪项改动让分数上升或下降。

交付并不意味着工作结束。由于模型行为会在快照之间变化,客户每次升级模型时,你的测试集就成了回归测试集。从一开始就和客户约定:测试集通过之前,谁都不能切换生产环境的模型。

为什么最难的部分在客户那边?

回顾这七个步骤,大部分原材料都在客户手里:每条规则背后的理由、答案已知的历史案例、没人写下来的阈值。所以规划真实项目时,留给和操作人员坐在一起的时间,要比留给斟酌字句的时间多。

提示词只是你对客户流程理解程度的一份记录。

阅读 FDE 岗位描述时有个窍门:凡是提到评测、与运营团队合作、把业务流程变成可用系统的条目,都是这项技能的用武之地。简历上不要写“精通提示词工程”。

要写具体:你用多少个历史案例搭建了评测集,准确率比基线提高了多少,模型变更时你如何发现了回归问题。

客户不会记得你的提示词写得多漂亮。他们会记得那一天:供应商发布了新模型,而你的测试集在错误波及买家之前就把它拦了下来。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 3: AI 应用工具调用中,模型只提议,执行权在你的代码Anthropic、OpenAI 和 Google 描述的是同一套契约,FDE 据此就能找准安全团队关心的检查点。