# 让客户的助手学会说“我不知道”的评分标准

> 以保险公司为例，把理赔负责人的判断写成通过/不通过的评分标准，再检验 LLM 评委是否和人打分一致。

原文: https://fdetimes.net/zh/guides/client-specific-rubrics-ai-refusals/

Anthropic 的官方文档里有一条简单得出奇的建议：明确告诉模型，它可以承认自己不确定。Anthropic 表示，仅这一点就能大幅减少错误信息。

到了客户现场，问题会更难：助手可以对哪些问题说不知道？一个回答够不够好，由谁来判定？

“准确、有帮助、有礼貌”这类通用评分标准（rubric）回答不了这些问题。每个客户都有自己的文档、自己的风险承受度，还有一个比工程团队懂业务得多的人。优秀的前线部署工程师（FDE）会把这个人的知识变成机器能够打分的判定条件。

下文以一家虚构的保险公司为例，从头走一遍：写拒答条款，请专家标注，写评分标准，再检验评委的打分是否与人一致。

## 要做出什么，需要准备什么

这家保险公司想要一个助手，帮客服人员查询保单条款。完成后你会得到四样东西：一份带拒答条款的系统提示词、一份三行评分标准、一组由专家标注的测试用例，以及两个数字，用来说明评委有多可信。

最重要的输入是真实问题，从工单或日志里提取。你还需要和一位领域专家相处几个小时，在这个例子里是理赔团队负责人。

最后，你需要一个支持 LLM-as-judge 的评测工具，比如 Promptfoo 的 `llm-rubric`，以及两个不同的模型：一个生成回答，一个负责打分。

## 第 1 步：先写拒答条款，再写评分标准

评分标准只能评判已经明确提出的要求。Anthropic 的示例只做了两件事：先说明任务范围，再给模型一句固定的兜底句，供资料中缺少信息时使用。套用到保单上，这部分大致如下（有删节）：

```text
只根据所提供的保单条款回答，
不要依据常识回答。
每一项陈述都必须附上条款原文引用。
如果条款中没有足够信息，只回复这一句话：
“我没有足够的信息来确定地评估这个问题。”
```

第一行用的是“限定模型只依据所提供文档”的技巧。Anthropic 同时提醒，这种技巧不能完全消除幻觉，重要输出仍需检查。这正是需要评分标准的原因。

**检查方法：**问三个你确定保单没有涉及的问题。如果回复与兜底句不是逐字一致，先改好提示词，再往下做。

## 第 2 步：和专家一起看真实数据，不要凭空猜判定条件

Hamel Husain 建议，先看真实数据，再写评委提示词。他还建议把打分交给一位首席专家，由其将每个回答判为通过或不通过，不用复杂的量表，也不用多项指标。在 FDE 项目里，这个人就是客户的领域专家。

按照 Husain 的说法，每个判定都应附一条亲手写的评语，详细到可以直接作为 LLM 评委的 few-shot 示例。一张简单的标注表如下：

```text
id | 问题                                         | 标注   | 专家评语
07 | 暴雨内涝在承保范围内吗？                       | fail  | 回答“是”，但没有引用第 4.2 条，该条将风暴潮引起的水淹列为除外责任
12 | 非工作时间的咨询费怎么收？                     | fail  | 保单附录 B 写明了，助手却拒绝回答
19 | 包含宠物保障吗？                               | pass  | 保单未提及，助手逐字使用了兜底句
```

看第 12 条。专家对不必要的拒答和编造答案罚得一样重。大多数仓促写成的评分标准都漏掉了这个维度。

## 第 3 步：把评语变成三行评分标准

把几十条评语重读一遍，你会发现它们集中在少数几类反复出现的错误上。第一行来自 Anthropic 的另一项技巧：每项陈述都必须有引用支撑，没有引用的陈述必须撤回。第三行借鉴了 OpenAI 的 Model Spec，它把拒答视为最后手段。

```text
回答当且仅当同时满足以下三个条件时判为 PASS：
1. 每一项关于保障权益的陈述都附有条款原文引用。
   只要有一项陈述没有出处，即判为 FAIL。
2. 如果条款中没有答案，正确输出是兜底句，
   不得附加任何推测。
3. 如果条款中“有”答案，拒绝回答即判为 FAIL。
```

**要点:** 好的评分标准既惩罚编造的答案，也惩罚不必要的拒答。

## 第 4 步：把评分标准放进 Promptfoo

Promptfoo 对 `llm-rubric` 的描述是：一种用模型按你编写的判定条件为输出打分的断言。下面这份删节后的配置有两个测试：第一个使用第 3 步的通过/不通过评分标准，第二个使用给部分分的评分标准。

```yaml
# 为便于说明有删节
tests:
  - vars:
      question: "非工作时间的咨询费怎么收？"
    assert:
      - type: llm-rubric
        value: "<粘贴第 3 步的三行评分标准>"
  - vars:
      question: "暴雨内涝在承保范围内吗？"
    assert:
      - type: llm-rubric
        value: "<给部分分的评分标准>"
        threshold: 0.8
```

第一个测试没有 `threshold`，因此 Promptfoo 依据评委返回的布尔字段 `pass` 判定结果。通过/不通过的评分标准需要的正是这一点。

第二个测试把 `threshold` 应用于评委给出的 0.0 到 1.0 分。如果没有这一行，给部分分的评分标准仍然按 `pass` 字段判定。

0.8 只是示例，应根据客户能接受的风险水平来定。Anthropic 的示例还有一个细节：用与生成回答不同的模型来打分。

## 第 5 步：评委打分和专家一致吗？

Husain 建议把人工标注当作基准真值，并分别报告真阳性率（TPR）和真阴性率（TNR）。用一组 40 个用例算一算：专家判 25 个通过，15 个不通过。

假设专家判通过的 25 个用例中，评委通过了 24 个，TPR 为 96%。但专家判不通过的 15 个用例中，评委只判了 9 个不通过，TNR 为 60%。合起来一致的是 40 个中的 33 个，即 82.5%，看上去还不错。

这个合并数字掩盖了最关键的事实：每 15 个错误回答中，有 6 个逃过了评委。接下来要做的，正是打开这 6 个用例，把专家对应的评语作为 few-shot 示例加进评委提示词。

然后形成闭环：在完整数据集上重跑评委，重新计算 TPR 和 TNR。留出几个从未放进 few-shot 示例的不通过用例，因为评委能正确判出刚刚给它看过的示例，什么也证明不了。如果 TNR 还是没有变化，多半是专家评语不够具体，那就回到第 2 步。

如果要单独考察拒答，可以用 Arize Phoenix 的 Refusal 评估器。它能检测 LLM 何时拒绝、婉拒或回避问题。它告诉你助手*是否*拒答了，而这次拒答*对不对*，只有评分标准的第 2、3 行能回答。

## 评委可靠之后，扩大测试集

Anthropic 在评测设计上的建议很明确：大量自动打分的题目，哪怕信号稍弱，也胜过少量精心人工打分的题目。专家的时间应该花在校准评委上，给几百个回答打分的事交给机器。

扩大规模时，要注意四个陷阱。第一个是没看数据就写评分标准。典型迹象是评分标准里满是“准确”“有帮助”之类的词，专家在里面认不出任何一个自己真正抓到过的错误。解决办法是回到标注表，让评分标准的每一行都从一条真实评语推出来。

第二个陷阱是 1 到 5 分的量表。迹象是团队为“3 分是什么意思”争论不休，始终定不下来。按 Husain 的建议改成通过/不通过，把细微差别留给评语。

第三个陷阱是让生成模型给自己打分。这样它的错误和评委的错误可能重合，你无法区分。解决办法很简单：换一个打分模型，再重新测 TPR 和 TNR。

代价最高的陷阱是只报告合并一致率。最明显的迹象就是上文的 82.5%：数字看着不错，却有 6 个错误回答漏了过去。每次修改评分标准或增加 few-shot 示例，都要分别报告这两个数字。

## 这项技能在客户现场和简历上如何体现

在客户现场，让人信任助手的，是一组由客户自己的专家标注、附 TPR 和 TNR 的 40 个用例，一个精致的演示远没有这个分量。客户新增文档时，只需补充用例并重新校准评委。

阅读 FDE 岗位描述时，留意“evals”“LLM-as-judge”或“working with subject-matter experts”这类说法。在简历上，一句具体的描述比“有 LLM 经验”有分量得多。例如：“与领域专家共同制定通过/不通过评分标准，将评委的 TNR 从 X 提升到 Y。”

最省钱的学习方式，是现在就在个人项目上动手。找一个比你更懂某个领域的人，请对方给 20 个回答打分。你写出的第一份评分标准不会完美，但至少它是按客户自己的标准来衡量的。

**本周动手试试:**

- 从你正在做的助手的日志里挑出 20 个真实问题，请一位领域专家逐个判定通过/不通过，并各写一句评语
- 在系统提示词中加入带固定兜底句的拒答条款，再用三个文档中肯定没有涉及的问题来测试
- 用这 20 个问题运行评委，对照专家标注计算 TPR 和 TNR

## 信源

- [Reduce hallucinations](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations)

- [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)

- [LLM Rubric | Promptfoo](https://promptfoo.dev/docs/configuration/expected-outputs/model-graded/llm-rubric)

- [Refusal](https://arize.com/docs/phoenix/evaluation/pre-built-metrics/refusal)

- [Using LLM-as-a-Judge For Evaluation: A Complete Guide](https://hamel.dev/blog/posts/llm-judge/)

- [OpenAI Model Spec (2025/02/12)](https://model-spec.openai.com/2025-02-12.html)
