让客户的助手学会说“我不知道”的评分标准
以保险公司为例,把理赔负责人的判断写成通过/不通过的评分标准,再检验 LLM 评委是否和人打分一致。
要点速览
- 必须允许模型说不知道,同时划定清晰的范围,并给出固定的兜底句。这是拒答判定条件的基础。
- 评分标准应只判通过/不通过,并从客户专家亲手写的评语中提炼。它既要惩罚编造的答案,也要惩罚不必要的拒答。
- 评委在用人工标注校验之前不可信。分别计算 TPR 和 TNR,才能看出评委在哪些地方打分过松。
Anthropic 的官方文档里有一条简单得出奇的建议:明确告诉模型,它可以承认自己不确定。Anthropic 表示,仅这一点就能大幅减少错误信息。
到了客户现场,问题会更难:助手可以对哪些问题说不知道?一个回答够不够好,由谁来判定?
“准确、有帮助、有礼貌”这类通用评分标准(rubric)回答不了这些问题。每个客户都有自己的文档、自己的风险承受度,还有一个比工程团队懂业务得多的人。优秀的前线部署工程师(FDE)会把这个人的知识变成机器能够打分的判定条件。
下文以一家虚构的保险公司为例,从头走一遍:写拒答条款,请专家标注,写评分标准,再检验评委的打分是否与人一致。
要做出什么,需要准备什么
这家保险公司想要一个助手,帮客服人员查询保单条款。完成后你会得到四样东西:一份带拒答条款的系统提示词、一份三行评分标准、一组由专家标注的测试用例,以及两个数字,用来说明评委有多可信。
最重要的输入是真实问题,从工单或日志里提取。你还需要和一位领域专家相处几个小时,在这个例子里是理赔团队负责人。
最后,你需要一个支持 LLM-as-judge 的评测工具,比如 Promptfoo 的 llm-rubric,以及两个不同的模型:一个生成回答,一个负责打分。
第 1 步:先写拒答条款,再写评分标准
评分标准只能评判已经明确提出的要求。Anthropic 的示例只做了两件事:先说明任务范围,再给模型一句固定的兜底句,供资料中缺少信息时使用。套用到保单上,这部分大致如下(有删节):
只根据所提供的保单条款回答,
不要依据常识回答。
每一项陈述都必须附上条款原文引用。
如果条款中没有足够信息,只回复这一句话:
“我没有足够的信息来确定地评估这个问题。”
第一行用的是“限定模型只依据所提供文档”的技巧。Anthropic 同时提醒,这种技巧不能完全消除幻觉,重要输出仍需检查。这正是需要评分标准的原因。
**检查方法:**问三个你确定保单没有涉及的问题。如果回复与兜底句不是逐字一致,先改好提示词,再往下做。
第 2 步:和专家一起看真实数据,不要凭空猜判定条件
Hamel Husain 建议,先看真实数据,再写评委提示词。他还建议把打分交给一位首席专家,由其将每个回答判为通过或不通过,不用复杂的量表,也不用多项指标。在 FDE 项目里,这个人就是客户的领域专家。
按照 Husain 的说法,每个判定都应附一条亲手写的评语,详细到可以直接作为 LLM 评委的 few-shot 示例。一张简单的标注表如下:
id | 问题 | 标注 | 专家评语
07 | 暴雨内涝在承保范围内吗? | fail | 回答“是”,但没有引用第 4.2 条,该条将风暴潮引起的水淹列为除外责任
12 | 非工作时间的咨询费怎么收? | fail | 保单附录 B 写明了,助手却拒绝回答
19 | 包含宠物保障吗? | pass | 保单未提及,助手逐字使用了兜底句
看第 12 条。专家对不必要的拒答和编造答案罚得一样重。大多数仓促写成的评分标准都漏掉了这个维度。
第 3 步:把评语变成三行评分标准
把几十条评语重读一遍,你会发现它们集中在少数几类反复出现的错误上。第一行来自 Anthropic 的另一项技巧:每项陈述都必须有引用支撑,没有引用的陈述必须撤回。第三行借鉴了 OpenAI 的 Model Spec,它把拒答视为最后手段。
回答当且仅当同时满足以下三个条件时判为 PASS:
1. 每一项关于保障权益的陈述都附有条款原文引用。
只要有一项陈述没有出处,即判为 FAIL。
2. 如果条款中没有答案,正确输出是兜底句,
不得附加任何推测。
3. 如果条款中“有”答案,拒绝回答即判为 FAIL。
第 4 步:把评分标准放进 Promptfoo
Promptfoo 对 llm-rubric 的描述是:一种用模型按你编写的判定条件为输出打分的断言。下面这份删节后的配置有两个测试:第一个使用第 3 步的通过/不通过评分标准,第二个使用给部分分的评分标准。
# 为便于说明有删节
tests:
- vars:
question: "非工作时间的咨询费怎么收?"
assert:
- type: llm-rubric
value: "<粘贴第 3 步的三行评分标准>"
- vars:
question: "暴雨内涝在承保范围内吗?"
assert:
- type: llm-rubric
value: "<给部分分的评分标准>"
threshold: 0.8
第一个测试没有 threshold,因此 Promptfoo 依据评委返回的布尔字段 pass 判定结果。通过/不通过的评分标准需要的正是这一点。
第二个测试把 threshold 应用于评委给出的 0.0 到 1.0 分。如果没有这一行,给部分分的评分标准仍然按 pass 字段判定。
0.8 只是示例,应根据客户能接受的风险水平来定。Anthropic 的示例还有一个细节:用与生成回答不同的模型来打分。
第 5 步:评委打分和专家一致吗?
Husain 建议把人工标注当作基准真值,并分别报告真阳性率(TPR)和真阴性率(TNR)。用一组 40 个用例算一算:专家判 25 个通过,15 个不通过。
假设专家判通过的 25 个用例中,评委通过了 24 个,TPR 为 96%。但专家判不通过的 15 个用例中,评委只判了 9 个不通过,TNR 为 60%。合起来一致的是 40 个中的 33 个,即 82.5%,看上去还不错。
这个合并数字掩盖了最关键的事实:每 15 个错误回答中,有 6 个逃过了评委。接下来要做的,正是打开这 6 个用例,把专家对应的评语作为 few-shot 示例加进评委提示词。
然后形成闭环:在完整数据集上重跑评委,重新计算 TPR 和 TNR。留出几个从未放进 few-shot 示例的不通过用例,因为评委能正确判出刚刚给它看过的示例,什么也证明不了。如果 TNR 还是没有变化,多半是专家评语不够具体,那就回到第 2 步。
如果要单独考察拒答,可以用 Arize Phoenix 的 Refusal 评估器。它能检测 LLM 何时拒绝、婉拒或回避问题。它告诉你助手是否拒答了,而这次拒答对不对,只有评分标准的第 2、3 行能回答。
评委可靠之后,扩大测试集
Anthropic 在评测设计上的建议很明确:大量自动打分的题目,哪怕信号稍弱,也胜过少量精心人工打分的题目。专家的时间应该花在校准评委上,给几百个回答打分的事交给机器。
扩大规模时,要注意四个陷阱。第一个是没看数据就写评分标准。典型迹象是评分标准里满是“准确”“有帮助”之类的词,专家在里面认不出任何一个自己真正抓到过的错误。解决办法是回到标注表,让评分标准的每一行都从一条真实评语推出来。
第二个陷阱是 1 到 5 分的量表。迹象是团队为“3 分是什么意思”争论不休,始终定不下来。按 Husain 的建议改成通过/不通过,把细微差别留给评语。
第三个陷阱是让生成模型给自己打分。这样它的错误和评委的错误可能重合,你无法区分。解决办法很简单:换一个打分模型,再重新测 TPR 和 TNR。
代价最高的陷阱是只报告合并一致率。最明显的迹象就是上文的 82.5%:数字看着不错,却有 6 个错误回答漏了过去。每次修改评分标准或增加 few-shot 示例,都要分别报告这两个数字。
这项技能在客户现场和简历上如何体现
在客户现场,让人信任助手的,是一组由客户自己的专家标注、附 TPR 和 TNR 的 40 个用例,一个精致的演示远没有这个分量。客户新增文档时,只需补充用例并重新校准评委。
阅读 FDE 岗位描述时,留意“evals”“LLM-as-judge”或“working with subject-matter experts”这类说法。在简历上,一句具体的描述比“有 LLM 经验”有分量得多。例如:“与领域专家共同制定通过/不通过评分标准,将评委的 TNR 从 X 提升到 Y。”
最省钱的学习方式,是现在就在个人项目上动手。找一个比你更懂某个领域的人,请对方给 20 个回答打分。你写出的第一份评分标准不会完美,但至少它是按客户自己的标准来衡量的。
这篇文章对你有帮助吗?
感谢你的反馈!