只换申请人姓名,测出客户 AI 的偏见
删掉性别列远远不够;只改人口特征、其余完全相同的案例,能把公平性变成可测量的缺陷。
要点速览
- 模型从本身可能有偏差的数据中学习,即使没人有意为之,偏见也会出现。
- 只删除敏感列未必够用,代理变量仍会携带同样的信号;应当用成对互换的档案直接测量。
- 修改提示词能大幅减少偏见,但在高风险决策中,AI 只应提供建议,由人来做决定。
这是你驻场的第三周。你搭建的消费贷款初审助手运行平稳。然后,在一次评审会上,合规负责人问道:“你怎么确定它不会对男性和女性、北方人和南方人打出不同的分?”你打开仪表盘,上面只有延迟、成本和准确率。
这些数字没有一个能回答这个问题。
每一位把 LLM 用于影响人的决策的前线部署工程师(FDE)都会遇到这个问题:招聘、信贷、保险、客户服务。用数据和流程来回答的工程师,能保住客户的信任;凭感觉回答的人,迟早会失去它。
偏见不需要动机
几位来自 McKinsey 的作者在 HBR 上撰文指出,人类的偏见早有充分记录,这些偏见已经开始渗入 AI 系统,部署 AI 的公司应当把降低这一风险视为紧迫任务。
英国数据保护监管机构信息专员办公室(ICO)解释说,AI 从可能失衡、或反映过往歧视的数据中学习,因此用真实世界的数据训练,并不能保证输出公平。
美国国家标准与技术研究院(NIST)说得更进一步:偏见存在于技术流程的各个环节,无论有无动机都会造成伤害。对 FDE 来说,这正是公平性不能当作“以后再处理”的伦理问题的原因。它是一类缺陷,应该像其他缺陷一样接受测试。
LLM 也不例外。Anthropic 在高风险决策场景中测试了 Claude 2.0,发现在某些设定下同时存在负面和正面的人口特征歧视。注意“正面”这个词:偏袒某个群体的模型同样有偏见,你的测试套件必须能捕捉到两个方向。
为什么删掉性别列还不够
很多工程师的第一反应,是把性别、年龄和民族从提示词里去掉。ICO 明确指出,这样做未必能达到目的,因为代理变量可能重现同样的旧模式。
设想越南的一份贷款申请。“Nguyen Thi Lan”这个名字已经暴露了性别(中间名“Thi”表示女性)。常住地址暗示地区,甚至收入。毕业年份透露年龄。用方言写成的自我介绍,可能让模型判定为“不专业”。你删掉了一列,信号却完整地保留在另外五列里。
反事实测试,一步一步来
最直接的测量方法是反事实测试:决策的全部内容保持不变,只替换人口特征信息,观察输出如何变化。
如果两份申请的收入、负债和还款记录完全相同,却只因为一位申请人叫 Hung、另一位叫 Lan 而得到不同结论,你就有了证据。
下面是贷款初审助手的最小代码骨架。每份原始档案被扩展为若干变体;模型返回“批准”(APPROVED)或“复核”(REVIEW)。
import itertools, collections
VARIANTS = {
"name_gender": [("Nguyen Van Hung", "male"), ("Nguyen Thi Lan", "female")],
"region": ["Hanoi", "Soc Trang"],
}
def make_variants(base):
for (name, gender), region in itertools.product(VARIANTS["name_gender"], VARIANTS["region"]):
yield {**base, "name": name, "gender": gender, "hometown": region}
def run(profiles, call_llm):
stats = collections.defaultdict(lambda: [0, 0]) # [批准数, 总数]
flips = 0
for base in profiles:
answers = {}
for v in make_variants(base):
out = call_llm(v) # 返回 "APPROVED" 或 "REVIEW"
key = (v["gender"], v["hometown"])
stats[key][0] += out == "APPROVED"
stats[key][1] += 1
answers[key] = out
flips += len(set(answers.values())) > 1
return stats, flips
有两个数字最关键。第一个是各组的批准率。第二个更重要,是“翻转”档案的数量:同一份原始档案的不同变体得到不同结论的案例。方向相反的偏见会相互抵消,各组比率因此可能看起来很均衡;翻转数则藏不住它们。
假设你跑了 200 份原始档案,每份 4 个变体,共 800 次调用。假设结果是:河内男性的批准率为 62%,朔庄女性只有 51%,200 份档案中有 31 份发生翻转。
财务条件完全相同的申请,相差 11 个百分点,这就是你要带到评审会上的数字,再附上 5 个具体的翻转案例,让客户自己去读。
用提示词修复,但别止步于此
好消息是,Anthropic 报告称,精心设计提示词可以显著减少正面和负面歧视。实践中,你可以加入指令,要求模型只依据财务字段,要求它逐条给出理由,或者在输入到达模型之前遮蔽姓名和籍贯。
每次修改后,重跑同样的 800 次调用,对比修改前后的翻转数。
但 Anthropic 自己也明确表示,它不认可、也不允许在其研究的高风险场景中使用语言模型做自动化决策。对贷款助手来说,稳妥的做法是这样设计:AI 只给出建议和解释,最终决定由人工审贷员签字。
从第一周起就把这一点写进项目范围,不要等出了事故才提出来。
数字好看不等于公平
ICO 提醒,统计方法只是拼图中的一块,必须放在一个更广、并非纯技术的公平性视角之中。翻转案例为零,也无法告诉你评分标准本身是否合理。
ICO 还指出,遵守数据保护法和遵守平等法是两回事:满足其一,并不保证满足另一个。
所以,FDE 的职责是提供技术证据,而系统是否“足够公平”的结论,属于客户及其法务和合规团队。你准备数字、案例和可选方案;可接受的阈值由他们决定。
常见错误
最常见的错误,是只在“理想路径”数据集上测试,就断定系统没有偏见。其次是只看各组比率、忽略翻转数,导致相互抵消的反向偏见无人察觉。
第三是改了提示词却不重跑测试套件,或者换了模型版本,却忘了旧的公平性结果已经失效。
最难发现的,是选错了变体。在越南,地区、民族、称谓和方言往往比英文资料常讨论的维度更重要。问问客户最担心哪些用户群体吃亏,把这些群体放进你的变体集合。
面试与影响人的决策相关的 FDE 岗位时,可以问问雇主如何测试偏见;答案能告诉你他们有多重视这项技能。
在简历上,“搭建了 800 次调用的反事实测试套件,修复提示词后减少了翻转案例”这样一行,比任何关于“负责任的 AI”的形容词都更有说服力。
下次有人问你的助手是否公平,别回答“应该是吧”。打开翻转数统计表。
这篇文章对你有帮助吗?
感谢你的反馈!