评测标注一致率 80%,可能说明不了什么
用 Cohen's kappa 扣除偶然一致后,这个数字降到 0.375,而这项检查只需几分钟。
要点速览
- 原始一致率忽略了偶然因素:一位评分者全部判通过,一个错误都没抓到,一致率仍能达到 95%。
- kappa 偏低,通常说明该修订评分标准,而不是去判断哪位专家对。
- 错误稀少时,几个样本就能让 kappa 大幅波动,因此一定要结合分歧表来看。
在客户现场的第三周,你手上有 100 条已标注通过或不通过的聊天机器人回答,自动评分器的结果也和这些标签贴得相当紧。接着,你请第二位专家给同样的 100 条回答打分。其中 20 条,结论正好相反。
第一反应往往是问:谁对?更该先问的是:这两个人评的是不是同一件事。如果不是,评测集给出的每个分数都只反映最初那位标注者的想法,而你正准备把这些分数当作质量指标汇报出去。
Cohen’s kappa 几分钟、几行代码就能回答这个问题。对前线部署工程师(FDE)来说,在一套没人审过的标准答案上搭建整个度量体系之前,这是成本最低的检查。
为什么 80% 的一致率说明不了多少?
原始一致率很好算,但正如 McHugh 在 2012 年的综述中指出的,它的关键弱点是忽略了评分者靠猜的可能。数据分布倾斜时,这个弱点就很严重。
Arize 给过一个简洁的例子:100 个样本里有 5 个错误,一位评分者全部找出,另一位全部判通过。两人仍在 95% 的样本上一致,尽管第二位一个错误都没抓到。对这个例子计算 kappa,结果是 0。
公式只有两个量:κ = (po − pe) / (1 − pe)。其中 po 是观测到的一致率,pe 是偶然情况下的预期一致率,根据每位评分者使用各个标签的频率估算。分子是超出偶然的部分,分母是可能超出的最大幅度。
一个从头算到尾的案例
假设你在为一家保险公司评测理赔聊天机器人。理赔团队负责人(A)和一位合规专员(B)独立给同样的 100 条回答打分,评分标准只有一句话:“回答是否正确?”结果如下。
| B:通过 | B:不通过 | |
|---|---|---|
| A:通过 | 70 | 10 |
| A:不通过 | 10 | 10 |
两人在 70 + 10 = 80 条回答上一致,所以 po = 0.80。两人各自判通过 80%、不通过 20%,所以 pe = 0.80 × 0.80 + 0.20 × 0.20 = 0.68。换句话说,两个人按这样的比例各自独立打分,本来就可能有 68% 的回答结论相同。
因此 κ = (0.80 − 0.68) / (1 − 0.68) = 0.12 / 0.32 = 0.375。扣掉偶然造成的重合,听起来很健康的 80% 一致率,只剩下 0.375 的 kappa。
下面的函数也支持多个标签,因为按 Arize 的说法,Cohen’s kappa 并不限于通过/不通过,适用于两位评分者、多个类别的情形。
from collections import Counter
def cohen_kappa(a, b):
n = len(a)
po = sum(x == y for x, y in zip(a, b)) / n
count_a, count_b = Counter(a), Counter(b)
labels = set(a) | set(b)
pe = sum(count_a[k] * count_b[k] for k in labels) / n**2
return po, pe, (po - pe) / (1 - pe)
a = ["pass"] * 70 + ["pass"] * 10 + ["fail"] * 10 + ["fail"] * 10
b = ["pass"] * 70 + ["fail"] * 10 + ["pass"] * 10 + ["fail"] * 10
print(cohen_kappa(a, b)) # po≈0.80,pe≈0.68,kappa≈0.375
如果两位评分者给所有样本打的都是同一个标签,pe 等于 1,函数会除以零。这时问题出在样本上:它不够多样,什么也测不出来。
0.375 够不够?
没有通用的门槛。Landis 和 Koch 的分级把 0.61–0.80 归为高度一致、0.81–1 归为几乎完全一致,引用很广,但并非人人认可。Fleiss 的划分不同:0.75 以上为优秀,0.40–0.75 为中等到良好,0.40 以下为差。
McHugh 更进一步。她认为 Cohen 最初的分级只把 κ ≤ 0 视为不一致,对健康领域研究来说过于宽松。在她看来,kappa 低于 0.60 就不够格,建立在这类标签上的结果不太值得信任。
实际做法是:计算之前先和客户定好门槛,并记下出自哪套分级。对于涉及理赔金额的聊天机器人,0.60 是合理的起点下限。0.375 同时低于 Fleiss 和 McHugh 的门槛,所以这组标签暂时还不能作为标准答案。
修订评分标准,而不是找赢家
接下来是最有价值的一步:和两位专家坐下来,逐条阅读那 20 条分歧。假设反复出现同一种情况:回答给出了正确的赔付金额,却漏掉了免责条件。理赔负责人判通过,因为信息是对的;合规专员判不通过,因为客户可能会误解。
两人都没错。是评分标准从没说清什么叫“正确”。于是你加一条带示例的规则:遗漏影响客户权益的免责条件,判不通过。这条规则本身就是客户会想听的产品发现。
假设第二轮换了 100 条新回答,结果是 72 条共同通过、18 条共同不通过,6 条 A 判通过而 B 判不通过,4 条相反。此时 po = 0.90,pe = 0.78 × 0.76 + 0.22 × 0.24 = 0.6456,κ ≈ 0.72。
这超过了 McHugh 的 0.60 门槛,在 Landis–Koch 分级中属于高度一致,但在 Fleiss 看来仍只是“中等到良好”。同一个 kappa,三种描述:这正是报告里应当先给数字、再给形容词的原因。
错误稀少时,别只看 kappa
kappa 受患病率(各标签出现得是否均衡)和偏差(两位评分者使用标签的频率是否不同)影响。类别稀少时,它往往会低估真实的一致程度。聊天机器人运行良好、不通过的情况变得稀少之后,你面对的正是这种局面。
取 100 条回答:94 条共同通过、2 条共同不通过,两个方向各有 2 条分歧。原始一致率为 96%,pe = 0.9232,κ ≈ 0.48。只要把两条分歧变成一致,即 95 条共同通过、3 条共同不通过,κ 就跳到约 0.74,而 pe 不变。
仅凭两条回答,不足以断定评分标准是坏是好。遇到这种情况,先打开分歧表,再从日志里筛出更多疑似不通过的回答,让两位评分者盲评。
这样筛出来的样本,不通过率比原样本高;而 kappa 受患病率影响,两个数字不能直接比较。两个都要报告,并附上各自样本的不通过率。
先把标签理干净,再上 LLM 评判模型
人与人之间的一致程度,也是评估自动评分器的参照。Arize 建议把 LLM 评判模型分别与每位专家逐一对比,并把两位人类之间的数字当作基准,而不是上限。
对比之前,不要把两位评分者的标签合并成一份。假设评判模型与 A 的 kappa 达到 0.70,与 B 只有 0.40:你马上就知道它偏向谁的思路,而合并后的标签会把这一点掩盖掉。
一套可以带到客户现场的流程
-
抽样。 从真实日志中随机抽样,而不是用客户挑出来展示的案例。
-
独立评分。 请两位真正要为质量负责的人,给他们同一套评分标准,让他们各自打分,不要商量。
-
计算并解读。 计算 kappa,查看每位评分者使用各标签的频率,再和他们逐条过一遍分歧。
-
修订评分标准。 把每一类分歧变成一条带示例的规则。
-
对新样本评分。 不要复用旧样本,因为重评测出的只是他们对答案记得多牢。
-
定稿并记录。 只有 kappa 超过约定门槛,这些标签才能成为标准答案,并用来校验评判模型。
记下样本量、不通过率和评分标准版本,让后来接手的人知道这个数字从何而来。
让数字失去意义的错误
-
让专家边评边商量。 kappa 会上升,但它衡量的已经是谁最能说服人,而不是评分标准有多清晰。
-
数据倾斜时只报告一致率百分比。 上面 95% 的例子说明,这个数字可能掩盖一位一个错误都没抓到的评分者。
-
把分级当成铁律。 数字落进一个好看的区间,并不足以宣布达标。
-
剔除“离群”的评分者。 这个人坚持的标准,可能正是客户需要的。
面试时怎么讲这个故事?
申请 FDE 岗位时,要表现出你愿意质疑自己的尺子。如果职位描述提到评测或标准答案数据集,面试前准备一个具体案例:标签在哪里出现分歧,你是怎么发现的,评分标准又是怎么改的。
简历上写一句“在部署 LLM 评判模型前,通过两轮评分标准修订,将两位专家之间的 kappa 从 X 提升到 Y”,比一整段工具清单更有说服力。它说明你既懂度量,也懂得和掌握领域知识的人合作。
本周练习:从你目前信任的评测集中取 50 个样本,请一位同事按现有评分标准盲评,再与旧标签对比。结果可能让人不舒服,但早点从同事那里知道,总好过在验收会上听客户说出来。
这篇文章对你有帮助吗?
感谢你的反馈!