贷款模型 AUC 再高,也欠每位借款人一个理由
美国监管不接受“模型太复杂”的借口:SHAP 拆出单个决策里各特征的份额,LIME 在同一申请上复核。

要点速览
- CFPB 要求拒贷理由具体且准确,模型复杂或不透明都不能作为豁免理由。
- 对树模型而言,Tree SHAP 精确且快速,但处理相关特征的方式会改变结果。
- LIME 适合用来交叉验证,但在表格数据上可能不稳定,而且两种方法都可能被欺骗。
“申请 4127 被拒了,客户已经投诉。周五前我们需要一个具体理由。”不妨假设这封邮件来自你正在部署模型的一家贷款机构的风控团队。模型是 XGBoost,几十个特征,AUC 很高,回测也干净。但会议室里没人说得清,这笔申请为什么被拒。
这是一道典型的前线部署工程师(FDE)任务:模型在统计上站得住,却没法向某一位具体客户解释自己。在美国,回答这个问题是贷款机构的法定义务,而不是客气。
美国消费者金融保护局(CFPB)于 2022 年 5 月 26 日发布的 Circular 2022-03 确认:《平等信贷机会法》(ECOA)和 Regulation B 下关于不利行动须说明理由的要求,适用于每一项信贷决策,无论决策用的是什么技术。
CFPB 的表态还更进一步:如果使用复杂算法导致债权人无法给出具体、准确的理由,就不得使用。债权人也不能声称,评估申请所用的技术太复杂、太不透明,以致无法理解。
如果你在面向美国市场的金融科技公司工作,或者所在银行参照这一标准,本文介绍的技能会派上实际用场。
SHAP 回答“每个特征把这笔申请推了多远?”
SHAP 由 Lundberg 和 Lee 于 2017 年提出,为每个特征分配它对每个单独预测的贡献。常见的理解是:模型有一个基准值,大致相当于参考数据集上的平均违约概率。
从这个基准值出发,可以看到申请的每个特征把预测往上推了多少、往下拉了多少。但不要默认这种理解一定成立:要亲自核对,基准值加上各项贡献,是否等于模型对这笔申请返回的概率。
加总对得上,风控团队就能逐个数字追溯这份解释,而拒贷理由需要的正是这一点。
对 XGBoost、LightGBM 这类树模型,shap.TreeExplainer 使用 Tree SHAP。该库文档称,这是一种针对树和树集成模型的快速、精确的方法。
没有近似,也不用等上几个小时。
LIME 由 Ribeiro、Singh 和 Guestrin 于 2016 年提出,思路不同。它扰动申请中的数值,生成大量变体,让原模型逐一预测,再在这份新数据集上拟合一个简单模型。
离原申请越近的样本权重越高。LIME 支持表格数据上的分类器,数值列和类别列都可以,很适合信贷数据。
逐步拆解案例 4127
下面的代码以 interventional 模式在概率尺度上计算 SHAP。按照 SHAP 文档,这种模式需要背景数据集,因此从训练集中抽样 500 笔申请。
import shap
from lime.lime_tabular import LimeTabularExplainer
background = X_train.sample(500, random_state=0)
explainer = shap.TreeExplainer(
model,
data=background,
feature_perturbation="interventional",
model_output="probability",
)
x = X_test.loc[[4127]]
sv = explainer(x)
print(sv.base_values[0], sv.values[0].sum())
假设输出的基准值为 0.12,各项贡献之和为 +0.29;与 predict_proba 对比后确认,模型给出的违约概率正好是 0.41,高于公司 0.30 的审批阈值。
按特征看:负债收入比 52%,贡献 +0.14;过去 12 个月 3 次逾期,贡献 +0.11;在当前岗位仅 4 个月,贡献 +0.06;收入贡献 +0.03;9 年的信用历史则拉低 −0.05。
加总:0.14 + 0.11 + 0.06 + 0.03 − 0.05 = 0.29。
这个加总是第一件要核对的事。如果 base_values + values.sum() 与 model.predict_proba 对不上,先弄清楚你解释的是哪种输出(例如是对数几率而不是概率),再去看其他数字。
接着,在同一笔申请上运行 LIME 做对比:
lime_exp = LimeTabularExplainer(
X_train.values,
feature_names=list(X_train.columns),
class_names=["repaid", "default"],
mode="classification",
random_state=0,
)
e = lime_exp.explain_instance(
x.values[0], model.predict_proba, num_features=5
)
print(e.as_list())
# [('dti > 0.45', 0.21), ('late_payments_12m > 2', 0.17),
# ('employment_months <= 6', 0.08), ('credit_age_years > 8', -0.06),
# ('income <= 9000', 0.02)]
比较排序和方向,而不是大小
上面打印出的 SHAP 和 LIME 结果,用的是两种不同的尺度。在这个例子里,SHAP 值经核对,加起来正好等于从基准值 0.12 到预测值 0.41 的距离。
LIME 的权重则是局部线性模型的系数,拟合在“dti > 0.45”这类条件上,把它们加起来得不到有意义的数字。
因此比较两者时,只看两点:哪些特征排在最前,以及每个特征往哪个方向推。
| 特征 | SHAP(排名,数值) | LIME(排名,权重) | 一致? |
|---|---|---|---|
| 负债收入比 | 1,+0.14 | 1,+0.21 | 是 |
| 近 12 个月逾期次数 | 2,+0.11 | 2,+0.17 | 是 |
| 当前岗位在职时长 | 3,+0.06 | 3,+0.08 | 是 |
| 信用历史时长 | 拉低,−0.05 | 拉低,−0.06 | 是 |
在案例 4127 中,前三个理由在排序和方向上都一致。现在可以给客户写信了:负债收入比偏高,近期有逾期记录,在当前岗位时间较短。三句具体的话,每一句都对应申请中的一个数字。
在客户现场要做的五步
第一步,问风控团队希望在什么尺度上解释、审批阈值是多少,因为理由只有放在阈值旁边才有意义。第二步,运行 SHAP,核对加总与模型的实际输出一致。第三步,用几个不同的随机种子运行 LIME,与 SHAP 比较排序和方向。
第四步最常被跳过:在模型本身上验证。把申请 4127 的负债收入比降到中位数,再调用一次 predict_proba。
概率应当明显下降;如果没有,你的首要理由还达不到 CFPB 要求的准确程度。最后一步,把特征名映射成客户能看懂的措辞,让法务团队一次性审批这份映射,而不是逐封审信。
让错误理由看起来正确的三个陷阱
第一个陷阱是相关特征。SHAP 文档指出,SHAP 值建立在条件期望之上,因此必须决定如何处理彼此相关的特征,例如收入和贷款金额。
interventional 模式需要背景数据集;tree_path_dependent 模式不需要,因为它以经过每个叶节点的训练样本数作为背景分布。两种模式对贡献的分配可能不同,所以要选定一种,并记录理由。
第二个陷阱是 LIME 的不稳定。据 Christoph Molnar 的著作《Interpretable Machine Learning》,在表格数据上使用 LIME 时,如何选取邻域仍是一个未解决的问题。不要把单次 LIME 运行当作证据;如果前三名随种子变化,它就只能作为参考信号。
最后一个陷阱更严重。2019 年的一项研究表明,LIME 和 SHAP 这类基于扰动的解释技术,可能被刻意设计的对抗模型欺骗,作者的结论是它们并不可靠。
正因如此,上面那一步改动真实数据的验证是必做项,而不是可选项。
如何在简历上体现这项技能
阅读金融科技公司或银行的岗位描述时,留意“model explainability”“reason codes”“adverse action”这类说法。简历上不要只写“用过 SHAP”。
写清楚你交付了什么:一条为每笔申请生成拒贷理由的数据管道,包含加总校验、与 LIME 的交叉比对,以及反事实验证。
如果你应聘信贷相关岗位,要准备好结合一笔具体申请,带着你核对过的数字,把每一步讲清楚。
下次再有邮件问“这笔申请为什么被拒?”,不必打开一份讲模型准确率的幻灯片。把从 0.12 到 0.41 的加总发过去,附上其中每一项都经过验证的证据。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Circular 2022-03: Adverse action notification requirements in connection with credit decisions based on complex algorithms (CFPB) · 2022-05-26
- "Why Should I Trust You?": Explaining the Predictions of Any Classifier · 2016-02-16
- Interpretable Machine Learning – LIME (Christoph Molnar)
- marcotcr/lime (GitHub README)
- A Unified Approach to Interpreting Model Predictions · 2017-05-22
- shap.TreeExplainer — SHAP documentation
- Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods · 2019-11-06