FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

评测标注一致率 80%,可能说明不了什么

用 Cohen's kappa 扣除偶然一致后,这个数字降到 0.375,而这项检查只需几分钟。

分享微博

要点速览

  • 原始一致率忽略了偶然因素:一位评分者全部判通过,一个错误都没抓到,一致率仍能达到 95%。
  • kappa 偏低,通常说明该修订评分标准,而不是去判断哪位专家对。
  • 错误稀少时,几个样本就能让 kappa 大幅波动,因此一定要结合分歧表来看。
斜率图把三个案例的原始一致率与 kappa 连在一起:错误稀少的案例从 96% 降到 0.48,Arize 的例子从 95% 降到 0,突出显示的保险案例第一轮从 80% 降到 0.375。三个 kappa 都低于 McHugh 的 0.60 门槛。
原始一致率高,不代表 kappa 高:三个案例都低于 McHugh 设定的 0.60 门槛。来源:Arize 的 95% 示例,McHugh 的门槛(2012);保险案例和错误稀少案例为文中的假设示例。

在客户现场的第三周,你手上有 100 条已标注通过或不通过的聊天机器人回答,自动评分器的结果也和这些标签贴得相当紧。接着,你请第二位专家给同样的 100 条回答打分。其中 20 条,结论正好相反。

第一反应往往是问:谁对?更该先问的是:这两个人评的是不是同一件事。如果不是,评测集给出的每个分数都只反映最初那位标注者的想法,而你正准备把这些分数当作质量指标汇报出去。

Cohen’s kappa 几分钟、几行代码就能回答这个问题。对前线部署工程师(FDE)来说,在一套没人审过的标准答案上搭建整个度量体系之前,这是成本最低的检查。

为什么 80% 的一致率说明不了多少?

原始一致率很好算,但正如 McHugh 在 2012 年的综述中指出的,它的关键弱点是忽略了评分者靠猜的可能。数据分布倾斜时,这个弱点就很严重。

Arize 给过一个简洁的例子:100 个样本里有 5 个错误,一位评分者全部找出,另一位全部判通过。两人仍在 95% 的样本上一致,尽管第二位一个错误都没抓到。对这个例子计算 kappa,结果是 0。

公式只有两个量:κ = (po − pe) / (1 − pe)。其中 po 是观测到的一致率,pe 是偶然情况下的预期一致率,根据每位评分者使用各个标签的频率估算。分子是超出偶然的部分,分母是可能超出的最大幅度。

一个从头算到尾的案例

假设你在为一家保险公司评测理赔聊天机器人。理赔团队负责人(A)和一位合规专员(B)独立给同样的 100 条回答打分,评分标准只有一句话:“回答是否正确?”结果如下。

B:通过 B:不通过
A:通过 70 10
A:不通过 10 10

两人在 70 + 10 = 80 条回答上一致,所以 po = 0.80。两人各自判通过 80%、不通过 20%,所以 pe = 0.80 × 0.80 + 0.20 × 0.20 = 0.68。换句话说,两个人按这样的比例各自独立打分,本来就可能有 68% 的回答结论相同。

因此 κ = (0.80 − 0.68) / (1 − 0.68) = 0.12 / 0.32 = 0.375。扣掉偶然造成的重合,听起来很健康的 80% 一致率,只剩下 0.375 的 kappa。

下面的函数也支持多个标签,因为按 Arize 的说法,Cohen’s kappa 并不限于通过/不通过,适用于两位评分者、多个类别的情形。

from collections import Counter

def cohen_kappa(a, b):
    n = len(a)
    po = sum(x == y for x, y in zip(a, b)) / n
    count_a, count_b = Counter(a), Counter(b)
    labels = set(a) | set(b)
    pe = sum(count_a[k] * count_b[k] for k in labels) / n**2
    return po, pe, (po - pe) / (1 - pe)

a = ["pass"] * 70 + ["pass"] * 10 + ["fail"] * 10 + ["fail"] * 10
b = ["pass"] * 70 + ["fail"] * 10 + ["pass"] * 10 + ["fail"] * 10
print(cohen_kappa(a, b))  # po≈0.80,pe≈0.68,kappa≈0.375

如果两位评分者给所有样本打的都是同一个标签,pe 等于 1,函数会除以零。这时问题出在样本上:它不够多样,什么也测不出来。

0.375 够不够?

没有通用的门槛。Landis 和 Koch 的分级把 0.61–0.80 归为高度一致、0.81–1 归为几乎完全一致,引用很广,但并非人人认可。Fleiss 的划分不同:0.75 以上为优秀,0.40–0.75 为中等到良好,0.40 以下为差。

McHugh 更进一步。她认为 Cohen 最初的分级只把 κ ≤ 0 视为不一致,对健康领域研究来说过于宽松。在她看来,kappa 低于 0.60 就不够格,建立在这类标签上的结果不太值得信任。

实际做法是:计算之前先和客户定好门槛,并记下出自哪套分级。对于涉及理赔金额的聊天机器人,0.60 是合理的起点下限。0.375 同时低于 Fleiss 和 McHugh 的门槛,所以这组标签暂时还不能作为标准答案。

修订评分标准,而不是找赢家

接下来是最有价值的一步:和两位专家坐下来,逐条阅读那 20 条分歧。假设反复出现同一种情况:回答给出了正确的赔付金额,却漏掉了免责条件。理赔负责人判通过,因为信息是对的;合规专员判不通过,因为客户可能会误解。

两人都没错。是评分标准从没说清什么叫“正确”。于是你加一条带示例的规则:遗漏影响客户权益的免责条件,判不通过。这条规则本身就是客户会想听的产品发现。

假设第二轮换了 100 条新回答,结果是 72 条共同通过、18 条共同不通过,6 条 A 判通过而 B 判不通过,4 条相反。此时 po = 0.90,pe = 0.78 × 0.76 + 0.22 × 0.24 = 0.6456,κ ≈ 0.72。

这超过了 McHugh 的 0.60 门槛,在 Landis–Koch 分级中属于高度一致,但在 Fleiss 看来仍只是“中等到良好”。同一个 kappa,三种描述:这正是报告里应当先给数字、再给形容词的原因。

错误稀少时,别只看 kappa

kappa 受患病率(各标签出现得是否均衡)和偏差(两位评分者使用标签的频率是否不同)影响。类别稀少时,它往往会低估真实的一致程度。聊天机器人运行良好、不通过的情况变得稀少之后,你面对的正是这种局面。

取 100 条回答:94 条共同通过、2 条共同不通过,两个方向各有 2 条分歧。原始一致率为 96%,pe = 0.9232,κ ≈ 0.48。只要把两条分歧变成一致,即 95 条共同通过、3 条共同不通过,κ 就跳到约 0.74,而 pe 不变。

仅凭两条回答,不足以断定评分标准是坏是好。遇到这种情况,先打开分歧表,再从日志里筛出更多疑似不通过的回答,让两位评分者盲评。

这样筛出来的样本,不通过率比原样本高;而 kappa 受患病率影响,两个数字不能直接比较。两个都要报告,并附上各自样本的不通过率。

先把标签理干净,再上 LLM 评判模型

人与人之间的一致程度,也是评估自动评分器的参照。Arize 建议把 LLM 评判模型分别与每位专家逐一对比,并把两位人类之间的数字当作基准,而不是上限。

对比之前,不要把两位评分者的标签合并成一份。假设评判模型与 A 的 kappa 达到 0.70,与 B 只有 0.40:你马上就知道它偏向谁的思路,而合并后的标签会把这一点掩盖掉。

一套可以带到客户现场的流程

  1. 抽样。 从真实日志中随机抽样,而不是用客户挑出来展示的案例。

  2. 独立评分。 请两位真正要为质量负责的人,给他们同一套评分标准,让他们各自打分,不要商量。

  3. 计算并解读。 计算 kappa,查看每位评分者使用各标签的频率,再和他们逐条过一遍分歧。

  4. 修订评分标准。 把每一类分歧变成一条带示例的规则。

  5. 对新样本评分。 不要复用旧样本,因为重评测出的只是他们对答案记得多牢。

  6. 定稿并记录。 只有 kappa 超过约定门槛,这些标签才能成为标准答案,并用来校验评判模型。

记下样本量、不通过率和评分标准版本,让后来接手的人知道这个数字从何而来。

让数字失去意义的错误

  • 让专家边评边商量。 kappa 会上升,但它衡量的已经是谁最能说服人,而不是评分标准有多清晰。

  • 数据倾斜时只报告一致率百分比。 上面 95% 的例子说明,这个数字可能掩盖一位一个错误都没抓到的评分者。

  • 把分级当成铁律。 数字落进一个好看的区间,并不足以宣布达标。

  • 剔除“离群”的评分者。 这个人坚持的标准,可能正是客户需要的。

面试时怎么讲这个故事?

申请 FDE 岗位时,要表现出你愿意质疑自己的尺子。如果职位描述提到评测或标准答案数据集,面试前准备一个具体案例:标签在哪里出现分歧,你是怎么发现的,评分标准又是怎么改的。

简历上写一句“在部署 LLM 评判模型前,通过两轮评分标准修订,将两位专家之间的 kappa 从 X 提升到 Y”,比一整段工具清单更有说服力。它说明你既懂度量,也懂得和掌握领域知识的人合作。

本周练习:从你目前信任的评测集中取 50 个样本,请一位同事按现有评分标准盲评,再与旧标签对比。结果可能让人不舒服,但早点从同事那里知道,总好过在验收会上听客户说出来。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 6: 价值度量单字段准确率 98%,多数投保申请仍至少错一处最大障碍在于把 AI 接入现有受理流程,FDE 的关键工作是先摸清每份文件经谁手、由谁签字。