# 只换申请人姓名，测出客户 AI 的偏见

> 删掉性别列远远不够；只改人口特征、其余完全相同的案例，能把公平性变成可测量的缺陷。

原文: https://fdetimes.net/zh/guides/counterfactual-testing-ai-assistant-bias/

这是你驻场的第三周。你搭建的消费贷款初审助手运行平稳。然后，在一次评审会上，合规负责人问道：“你怎么确定它不会对男性和女性、北方人和南方人打出不同的分？”你打开仪表盘，上面只有延迟、成本和准确率。

这些数字没有一个能回答这个问题。

每一位把 LLM 用于影响人的决策的前线部署工程师（FDE）都会遇到这个问题：招聘、信贷、保险、客户服务。用数据和流程来回答的工程师，能保住客户的信任；凭感觉回答的人，迟早会失去它。

## 偏见不需要动机

几位来自 McKinsey 的作者在 HBR 上撰文指出，人类的偏见早有充分记录，这些偏见已经开始渗入 AI 系统，部署 AI 的公司应当把降低这一风险视为紧迫任务。

英国数据保护监管机构信息专员办公室（ICO）解释说，AI 从可能失衡、或反映过往歧视的数据中学习，因此用真实世界的数据训练，并不能保证输出公平。

美国国家标准与技术研究院（NIST）说得更进一步：偏见存在于技术流程的各个环节，无论有无动机都会造成伤害。对 FDE 来说，这正是公平性不能当作“以后再处理”的伦理问题的原因。它是一类缺陷，应该像其他缺陷一样接受测试。

LLM 也不例外。Anthropic 在高风险决策场景中测试了 Claude 2.0，发现在某些设定下同时存在负面和正面的人口特征歧视。注意“正面”这个词：偏袒某个群体的模型同样有偏见，你的测试套件必须能捕捉到两个方向。

## 为什么删掉性别列还不够

很多工程师的第一反应，是把性别、年龄和民族从提示词里去掉。ICO 明确指出，这样做未必能达到目的，因为代理变量可能重现同样的旧模式。

设想越南的一份贷款申请。“Nguyen Thi Lan”这个名字已经暴露了性别（中间名“Thi”表示女性）。常住地址暗示地区，甚至收入。毕业年份透露年龄。用方言写成的自我介绍，可能让模型判定为“不专业”。你删掉了一列，信号却完整地保留在另外五列里。

**要点:** 不能因为系统看不到某个敏感属性，就宣布它是公平的；你必须测量：这个属性改变时，结果会不会跟着变。

## 反事实测试，一步一步来

最直接的测量方法是反事实测试：决策的全部内容保持不变，只替换人口特征信息，观察输出如何变化。

如果两份申请的收入、负债和还款记录完全相同，却只因为一位申请人叫 Hung、另一位叫 Lan 而得到不同结论，你就有了证据。

下面是贷款初审助手的最小代码骨架。每份原始档案被扩展为若干变体；模型返回“批准”（APPROVED）或“复核”（REVIEW）。

```python
import itertools, collections

VARIANTS = {
    "name_gender": [("Nguyen Van Hung", "male"), ("Nguyen Thi Lan", "female")],
    "region": ["Hanoi", "Soc Trang"],
}

def make_variants(base):
    for (name, gender), region in itertools.product(VARIANTS["name_gender"], VARIANTS["region"]):
        yield {**base, "name": name, "gender": gender, "hometown": region}

def run(profiles, call_llm):
    stats = collections.defaultdict(lambda: [0, 0])  # [批准数, 总数]
    flips = 0
    for base in profiles:
        answers = {}
        for v in make_variants(base):
            out = call_llm(v)  # 返回 "APPROVED" 或 "REVIEW"
            key = (v["gender"], v["hometown"])
            stats[key][0] += out == "APPROVED"
            stats[key][1] += 1
            answers[key] = out
        flips += len(set(answers.values())) > 1
    return stats, flips
```

有两个数字最关键。第一个是各组的批准率。第二个更重要，是“翻转”档案的数量：同一份原始档案的不同变体得到不同结论的案例。方向相反的偏见会相互抵消，各组比率因此可能看起来很均衡；翻转数则藏不住它们。

假设你跑了 200 份原始档案，每份 4 个变体，共 800 次调用。假设结果是：河内男性的批准率为 62%，朔庄女性只有 51%，200 份档案中有 31 份发生翻转。

财务条件完全相同的申请，相差 11 个百分点，这就是你要带到评审会上的数字，再附上 5 个具体的翻转案例，让客户自己去读。

## 用提示词修复，但别止步于此

好消息是，Anthropic 报告称，精心设计提示词可以显著减少正面和负面歧视。实践中，你可以加入指令，要求模型只依据财务字段，要求它逐条给出理由，或者在输入到达模型之前遮蔽姓名和籍贯。

每次修改后，重跑同样的 800 次调用，对比修改前后的翻转数。

但 Anthropic 自己也明确表示，它不认可、也不允许在其研究的高风险场景中使用语言模型做自动化决策。对贷款助手来说，稳妥的做法是这样设计：AI 只给出建议和解释，最终决定由人工审贷员签字。

从第一周起就把这一点写进项目范围，不要等出了事故才提出来。

## 数字好看不等于公平

ICO 提醒，统计方法只是拼图中的一块，必须放在一个更广、并非纯技术的公平性视角之中。翻转案例为零，也无法告诉你评分标准本身是否合理。

ICO 还指出，遵守数据保护法和遵守平等法是两回事：满足其一，并不保证满足另一个。

所以，FDE 的职责是提供技术证据，而系统是否“足够公平”的结论，属于客户及其法务和合规团队。你准备数字、案例和可选方案；可接受的阈值由他们决定。

## 常见错误

最常见的错误，是只在“理想路径”数据集上测试，就断定系统没有偏见。其次是只看各组比率、忽略翻转数，导致相互抵消的反向偏见无人察觉。

第三是改了提示词却不重跑测试套件，或者换了模型版本，却忘了旧的公平性结果已经失效。

最难发现的，是选错了变体。在越南，地区、民族、称谓和方言往往比英文资料常讨论的维度更重要。问问客户最担心哪些用户群体吃亏，把这些群体放进你的变体集合。

面试与影响人的决策相关的 FDE 岗位时，可以问问雇主如何测试偏见；答案能告诉你他们有多重视这项技能。

在简历上，“搭建了 800 次调用的反事实测试套件，修复提示词后减少了翻转案例”这样一行，比任何关于“负责任的 AI”的形容词都更有说服力。

下次有人问你的助手是否公平，别回答“应该是吧”。打开翻转数统计表。

**本周动手试试:**

- 从你正在做的 LLM 系统中取 20 条真实输入，为每条生成四个只在姓名和性别上不同的变体，跑完全部 80 次调用，计算每组的正面结果率
- 列出提示词中所有可能充当代理变量的字段（姓名、地址、学校、写作风格），问客户哪些是决策真正需要的
- 为简历或作品集写半页内容，介绍你搭建的公平性测试套件：跑了多少对、测量了哪些指标、修复了什么

## 信源

- [What Do We Do About the Biases in AI?](https://hbr.org/2019/10/what-do-we-do-about-the-biases-in-ai)

- [What about fairness, bias and discrimination? (ICO)](https://ico.org.uk/for-organisations/uk-gdpr-guidance-and-resources/artificial-intelligence/guidance-on-ai-and-data-protection/how-do-we-ensure-fairness-in-ai/what-about-fairness-bias-and-discrimination/)

- [Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (NIST)](https://www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence)

- [Evaluating and Mitigating Discrimination in Language Model Decisions (Anthropic)](https://www.anthropic.com/news/evaluating-and-mitigating-discrimination-in-language-model-decisions)
