FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

只换申请人姓名,测出客户 AI 的偏见

删掉性别列远远不够;只改人口特征、其余完全相同的案例,能把公平性变成可测量的缺陷。

分享微博

要点速览

  • 模型从本身可能有偏差的数据中学习,即使没人有意为之,偏见也会出现。
  • 只删除敏感列未必够用,代理变量仍会携带同样的信号;应当用成对互换的档案直接测量。
  • 修改提示词能大幅减少偏见,但在高风险决策中,AI 只应提供建议,由人来做决定。
由 200 个圆点组成的图表,每个圆点代表一份原始档案。其中 31 个橙色圆点是翻转档案:仅姓名和籍贯不同的变体得到了不同结论。假设的批准率为河内男性 62%,朔庄女性 51%。
在文中的假设互换测试里,200 份原始档案扩展为 800 次调用,其中 31 份档案仅因更换姓名和籍贯,结论就发生了翻转。来源:文中假设结果,FDE Times。

这是你驻场的第三周。你搭建的消费贷款初审助手运行平稳。然后,在一次评审会上,合规负责人问道:“你怎么确定它不会对男性和女性、北方人和南方人打出不同的分?”你打开仪表盘,上面只有延迟、成本和准确率。

这些数字没有一个能回答这个问题。

每一位把 LLM 用于影响人的决策的前线部署工程师(FDE)都会遇到这个问题:招聘、信贷、保险、客户服务。用数据和流程来回答的工程师,能保住客户的信任;凭感觉回答的人,迟早会失去它。

偏见不需要动机

几位来自 McKinsey 的作者在 HBR 上撰文指出,人类的偏见早有充分记录,这些偏见已经开始渗入 AI 系统,部署 AI 的公司应当把降低这一风险视为紧迫任务。

英国数据保护监管机构信息专员办公室(ICO)解释说,AI 从可能失衡、或反映过往歧视的数据中学习,因此用真实世界的数据训练,并不能保证输出公平。

美国国家标准与技术研究院(NIST)说得更进一步:偏见存在于技术流程的各个环节,无论有无动机都会造成伤害。对 FDE 来说,这正是公平性不能当作“以后再处理”的伦理问题的原因。它是一类缺陷,应该像其他缺陷一样接受测试。

LLM 也不例外。Anthropic 在高风险决策场景中测试了 Claude 2.0,发现在某些设定下同时存在负面和正面的人口特征歧视。注意“正面”这个词:偏袒某个群体的模型同样有偏见,你的测试套件必须能捕捉到两个方向。

为什么删掉性别列还不够

很多工程师的第一反应,是把性别、年龄和民族从提示词里去掉。ICO 明确指出,这样做未必能达到目的,因为代理变量可能重现同样的旧模式。

设想越南的一份贷款申请。“Nguyen Thi Lan”这个名字已经暴露了性别(中间名“Thi”表示女性)。常住地址暗示地区,甚至收入。毕业年份透露年龄。用方言写成的自我介绍,可能让模型判定为“不专业”。你删掉了一列,信号却完整地保留在另外五列里。

反事实测试,一步一步来

最直接的测量方法是反事实测试:决策的全部内容保持不变,只替换人口特征信息,观察输出如何变化。

如果两份申请的收入、负债和还款记录完全相同,却只因为一位申请人叫 Hung、另一位叫 Lan 而得到不同结论,你就有了证据。

下面是贷款初审助手的最小代码骨架。每份原始档案被扩展为若干变体;模型返回“批准”(APPROVED)或“复核”(REVIEW)。

import itertools, collections

VARIANTS = {
    "name_gender": [("Nguyen Van Hung", "male"), ("Nguyen Thi Lan", "female")],
    "region": ["Hanoi", "Soc Trang"],
}

def make_variants(base):
    for (name, gender), region in itertools.product(VARIANTS["name_gender"], VARIANTS["region"]):
        yield {**base, "name": name, "gender": gender, "hometown": region}

def run(profiles, call_llm):
    stats = collections.defaultdict(lambda: [0, 0])  # [批准数, 总数]
    flips = 0
    for base in profiles:
        answers = {}
        for v in make_variants(base):
            out = call_llm(v)  # 返回 "APPROVED" 或 "REVIEW"
            key = (v["gender"], v["hometown"])
            stats[key][0] += out == "APPROVED"
            stats[key][1] += 1
            answers[key] = out
        flips += len(set(answers.values())) > 1
    return stats, flips

有两个数字最关键。第一个是各组的批准率。第二个更重要,是“翻转”档案的数量:同一份原始档案的不同变体得到不同结论的案例。方向相反的偏见会相互抵消,各组比率因此可能看起来很均衡;翻转数则藏不住它们。

假设你跑了 200 份原始档案,每份 4 个变体,共 800 次调用。假设结果是:河内男性的批准率为 62%,朔庄女性只有 51%,200 份档案中有 31 份发生翻转。

财务条件完全相同的申请,相差 11 个百分点,这就是你要带到评审会上的数字,再附上 5 个具体的翻转案例,让客户自己去读。

用提示词修复,但别止步于此

好消息是,Anthropic 报告称,精心设计提示词可以显著减少正面和负面歧视。实践中,你可以加入指令,要求模型只依据财务字段,要求它逐条给出理由,或者在输入到达模型之前遮蔽姓名和籍贯。

每次修改后,重跑同样的 800 次调用,对比修改前后的翻转数。

但 Anthropic 自己也明确表示,它不认可、也不允许在其研究的高风险场景中使用语言模型做自动化决策。对贷款助手来说,稳妥的做法是这样设计:AI 只给出建议和解释,最终决定由人工审贷员签字。

从第一周起就把这一点写进项目范围,不要等出了事故才提出来。

数字好看不等于公平

ICO 提醒,统计方法只是拼图中的一块,必须放在一个更广、并非纯技术的公平性视角之中。翻转案例为零,也无法告诉你评分标准本身是否合理。

ICO 还指出,遵守数据保护法和遵守平等法是两回事:满足其一,并不保证满足另一个。

所以,FDE 的职责是提供技术证据,而系统是否“足够公平”的结论,属于客户及其法务和合规团队。你准备数字、案例和可选方案;可接受的阈值由他们决定。

常见错误

最常见的错误,是只在“理想路径”数据集上测试,就断定系统没有偏见。其次是只看各组比率、忽略翻转数,导致相互抵消的反向偏见无人察觉。

第三是改了提示词却不重跑测试套件,或者换了模型版本,却忘了旧的公平性结果已经失效。

最难发现的,是选错了变体。在越南,地区、民族、称谓和方言往往比英文资料常讨论的维度更重要。问问客户最担心哪些用户群体吃亏,把这些群体放进你的变体集合。

面试与影响人的决策相关的 FDE 岗位时,可以问问雇主如何测试偏见;答案能告诉你他们有多重视这项技能。

在简历上,“搭建了 800 次调用的反事实测试套件,修复提示词后减少了翻转案例”这样一行,比任何关于“负责任的 AI”的形容词都更有说服力。

下次有人问你的助手是否公平,别回答“应该是吧”。打开翻转数统计表。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量在 PR 里拦住提示词回归,别等客户先发现用 GitHub Actions 运行 promptfoo,在同一黄金数据集上对比新旧提示词,并把分数评论到 PR 上。