# 评测标注一致率 80%，可能说明不了什么

> 用 Cohen's kappa 扣除偶然一致后，这个数字降到 0.375，而这项检查只需几分钟。

原文: https://fdetimes.net/zh/guides/cohens-kappa-eval-label-agreement/

在客户现场的第三周，你手上有 100 条已标注通过或不通过的聊天机器人回答，自动评分器的结果也和这些标签贴得相当紧。接着，你请第二位专家给同样的 100 条回答打分。其中 20 条，结论正好相反。

第一反应往往是问：谁对？更该先问的是：这两个人评的是不是同一件事。如果不是，评测集给出的每个分数都只反映最初那位标注者的想法，而你正准备把这些分数当作质量指标汇报出去。

Cohen's kappa 几分钟、几行代码就能回答这个问题。对前线部署工程师（FDE）来说，在一套没人审过的标准答案上搭建整个度量体系之前，这是成本最低的检查。

## 为什么 80% 的一致率说明不了多少？

原始一致率很好算，但正如 McHugh 在 2012 年的综述中指出的，它的关键弱点是忽略了评分者靠猜的可能。数据分布倾斜时，这个弱点就很严重。

Arize 给过一个简洁的例子：100 个样本里有 5 个错误，一位评分者全部找出，另一位全部判通过。两人仍在 95% 的样本上一致，尽管第二位一个错误都没抓到。对这个例子计算 kappa，结果是 0。

公式只有两个量：κ = (po − pe) / (1 − pe)。其中 po 是观测到的一致率，pe 是偶然情况下的预期一致率，根据每位评分者使用各个标签的频率估算。分子是超出偶然的部分，分母是可能超出的最大幅度。

## 一个从头算到尾的案例

假设你在为一家保险公司评测理赔聊天机器人。理赔团队负责人（A）和一位合规专员（B）独立给同样的 100 条回答打分，评分标准只有一句话：“回答是否正确？”结果如下。

| | B：通过 | B：不通过 |
|---|---|---|
| **A：通过** | 70 | 10 |
| **A：不通过** | 10 | 10 |

两人在 70 + 10 = 80 条回答上一致，所以 po = 0.80。两人各自判通过 80%、不通过 20%，所以 pe = 0.80 × 0.80 + 0.20 × 0.20 = 0.68。换句话说，两个人按这样的比例各自独立打分，本来就可能有 68% 的回答结论相同。

因此 κ = (0.80 − 0.68) / (1 − 0.68) = 0.12 / 0.32 = 0.375。扣掉偶然造成的重合，听起来很健康的 80% 一致率，只剩下 0.375 的 kappa。

下面的函数也支持多个标签，因为按 Arize 的说法，Cohen's kappa 并不限于通过/不通过，适用于两位评分者、多个类别的情形。

```python
from collections import Counter

def cohen_kappa(a, b):
    n = len(a)
    po = sum(x == y for x, y in zip(a, b)) / n
    count_a, count_b = Counter(a), Counter(b)
    labels = set(a) | set(b)
    pe = sum(count_a[k] * count_b[k] for k in labels) / n**2
    return po, pe, (po - pe) / (1 - pe)

a = ["pass"] * 70 + ["pass"] * 10 + ["fail"] * 10 + ["fail"] * 10
b = ["pass"] * 70 + ["fail"] * 10 + ["pass"] * 10 + ["fail"] * 10
print(cohen_kappa(a, b))  # po≈0.80，pe≈0.68，kappa≈0.375
```

如果两位评分者给所有样本打的都是同一个标签，pe 等于 1，函数会除以零。这时问题出在样本上：它不够多样，什么也测不出来。

## 0.375 够不够？

没有通用的门槛。Landis 和 Koch 的分级把 0.61–0.80 归为高度一致、0.81–1 归为几乎完全一致，引用很广，但并非人人认可。Fleiss 的划分不同：0.75 以上为优秀，0.40–0.75 为中等到良好，0.40 以下为差。

McHugh 更进一步。她认为 Cohen 最初的分级只把 κ ≤ 0 视为不一致，对健康领域研究来说过于宽松。在她看来，kappa 低于 0.60 就不够格，建立在这类标签上的结果不太值得信任。

实际做法是：计算之前先和客户定好门槛，并记下出自哪套分级。对于涉及理赔金额的聊天机器人，0.60 是合理的起点下限。0.375 同时低于 Fleiss 和 McHugh 的门槛，所以这组标签暂时还不能作为标准答案。

## 修订评分标准，而不是找赢家

接下来是最有价值的一步：和两位专家坐下来，逐条阅读那 20 条分歧。假设反复出现同一种情况：回答给出了正确的赔付金额，却漏掉了免责条件。理赔负责人判通过，因为信息是对的；合规专员判不通过，因为客户可能会误解。

两人都没错。是评分标准从没说清什么叫“正确”。于是你加一条带示例的规则：遗漏影响客户权益的免责条件，判不通过。这条规则本身就是客户会想听的产品发现。

**要点:** 两位专家都无法达成一致的标签，还不配当标准答案。

假设第二轮换了 100 条新回答，结果是 72 条共同通过、18 条共同不通过，6 条 A 判通过而 B 判不通过，4 条相反。此时 po = 0.90，pe = 0.78 × 0.76 + 0.22 × 0.24 = 0.6456，κ ≈ 0.72。

这超过了 McHugh 的 0.60 门槛，在 Landis–Koch 分级中属于高度一致，但在 Fleiss 看来仍只是“中等到良好”。同一个 kappa，三种描述：这正是报告里应当先给数字、再给形容词的原因。

## 错误稀少时，别只看 kappa

kappa 受患病率（各标签出现得是否均衡）和偏差（两位评分者使用标签的频率是否不同）影响。类别稀少时，它往往会低估真实的一致程度。聊天机器人运行良好、不通过的情况变得稀少之后，你面对的正是这种局面。

取 100 条回答：94 条共同通过、2 条共同不通过，两个方向各有 2 条分歧。原始一致率为 96%，pe = 0.9232，κ ≈ 0.48。只要把两条分歧变成一致，即 95 条共同通过、3 条共同不通过，κ 就跳到约 0.74，而 pe 不变。

仅凭两条回答，不足以断定评分标准是坏是好。遇到这种情况，先打开分歧表，再从日志里筛出更多疑似不通过的回答，让两位评分者盲评。

这样筛出来的样本，不通过率比原样本高；而 kappa 受患病率影响，两个数字不能直接比较。两个都要报告，并附上各自样本的不通过率。

## 先把标签理干净，再上 LLM 评判模型

人与人之间的一致程度，也是评估自动评分器的参照。Arize 建议把 LLM 评判模型分别与每位专家逐一对比，并把两位人类之间的数字当作基准，而不是上限。

对比之前，不要把两位评分者的标签合并成一份。假设评判模型与 A 的 kappa 达到 0.70，与 B 只有 0.40：你马上就知道它偏向谁的思路，而合并后的标签会把这一点掩盖掉。

## 一套可以带到客户现场的流程

1. **抽样。** 从真实日志中随机抽样，而不是用客户挑出来展示的案例。

2. **独立评分。** 请两位真正要为质量负责的人，给他们同一套评分标准，让他们各自打分，不要商量。

3. **计算并解读。** 计算 kappa，查看每位评分者使用各标签的频率，再和他们逐条过一遍分歧。

4. **修订评分标准。** 把每一类分歧变成一条带示例的规则。

5. **对新样本评分。** 不要复用旧样本，因为重评测出的只是他们对答案记得多牢。

6. **定稿并记录。** 只有 kappa 超过约定门槛，这些标签才能成为标准答案，并用来校验评判模型。

记下样本量、不通过率和评分标准版本，让后来接手的人知道这个数字从何而来。

## 让数字失去意义的错误

- **让专家边评边商量。** kappa 会上升，但它衡量的已经是谁最能说服人，而不是评分标准有多清晰。

- **数据倾斜时只报告一致率百分比。** 上面 95% 的例子说明，这个数字可能掩盖一位一个错误都没抓到的评分者。

- **把分级当成铁律。** 数字落进一个好看的区间，并不足以宣布达标。

- **剔除“离群”的评分者。** 这个人坚持的标准，可能正是客户需要的。

## 面试时怎么讲这个故事？

申请 FDE 岗位时，要表现出你愿意质疑自己的尺子。如果职位描述提到评测或标准答案数据集，面试前准备一个具体案例：标签在哪里出现分歧，你是怎么发现的，评分标准又是怎么改的。

简历上写一句“在部署 LLM 评判模型前，通过两轮评分标准修订，将两位专家之间的 kappa 从 X 提升到 Y”，比一整段工具清单更有说服力。它说明你既懂度量，也懂得和掌握领域知识的人合作。

本周练习：从你目前信任的评测集中取 50 个样本，请一位同事按现有评分标准盲评，再与旧标签对比。结果可能让人不舒服，但早点从同事那里知道，总好过在验收会上听客户说出来。

**本周动手试试:**

- 复制本文的 cohen_kappa 函数，在 70/10/10/10 的表上运行，再换成 95/1/1/3，看看 kappa 如何变化。
- 在你所用评测集的说明文档里加一行，记录 kappa、样本量、不通过率和评分标准版本。
- 重读一份提到评测的 FDE 职位描述，用两句话写下你如何检查标签的可靠性。

## 信源

- [Cohen's kappa – Wikipedia](https://en.wikipedia.org/wiki/Cohen%27s_kappa)

- [Interrater reliability: the kappa statistic (McHugh, Biochem Med)](https://pmc.ncbi.nlm.nih.gov/articles/PMC3900052/)

- [How to measure human-LLM judge alignment (Arize)](https://arize.com/blog/measuring-human-llm-judge-alignment/)
