FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

贷款模型 AUC 再高,也欠每位借款人一个理由

美国监管不接受“模型太复杂”的借口:SHAP 拆出单个决策里各特征的份额,LIME 在同一申请上复核。

位于华盛顿特区的美国消费者金融保护局总部入口,玻璃门上方写着“Consumer Financial Protection Bureau”字样。
图片:G. Edward Johnson / CC BY 4.0
分享微博

要点速览

  • CFPB 要求拒贷理由具体且准确,模型复杂或不透明都不能作为豁免理由。
  • 对树模型而言,Tree SHAP 精确且快速,但处理相关特征的方式会改变结果。
  • LIME 适合用来交叉验证,但在表格数据上可能不稳定,而且两种方法都可能被欺骗。
贷款申请 4127 的瀑布图。违约概率从基准值 0.12 起步:负债收入比加 0.14,三次逾期加 0.11,在职四个月加 0.06,收入加 0.03,九年信用历史减 0.05。预测结果为 0.41,高于 0.30 的审批阈值。旁边的表格显示,四个特征上 LIME 与 SHAP 的排序和方向全部一致;结果仍需通过降低负债收入比、重新运行模型来验证。
对贷款 4127,SHAP 从基准值 0.12 累加各项贡献到 0.41,高于 0.30 的审批阈值。LIME 给出相同的排序和方向。拒贷理由只有在模型本身上验证之后,才应发给客户。

“申请 4127 被拒了,客户已经投诉。周五前我们需要一个具体理由。”不妨假设这封邮件来自你正在部署模型的一家贷款机构的风控团队。模型是 XGBoost,几十个特征,AUC 很高,回测也干净。但会议室里没人说得清,这笔申请为什么被拒。

这是一道典型的前线部署工程师(FDE)任务:模型在统计上站得住,却没法向某一位具体客户解释自己。在美国,回答这个问题是贷款机构的法定义务,而不是客气。

美国消费者金融保护局(CFPB)于 2022 年 5 月 26 日发布的 Circular 2022-03 确认:《平等信贷机会法》(ECOA)和 Regulation B 下关于不利行动须说明理由的要求,适用于每一项信贷决策,无论决策用的是什么技术。

CFPB 的表态还更进一步:如果使用复杂算法导致债权人无法给出具体、准确的理由,就不得使用。债权人也不能声称,评估申请所用的技术太复杂、太不透明,以致无法理解。

如果你在面向美国市场的金融科技公司工作,或者所在银行参照这一标准,本文介绍的技能会派上实际用场。

SHAP 回答“每个特征把这笔申请推了多远?”

SHAP 由 Lundberg 和 Lee 于 2017 年提出,为每个特征分配它对每个单独预测的贡献。常见的理解是:模型有一个基准值,大致相当于参考数据集上的平均违约概率。

从这个基准值出发,可以看到申请的每个特征把预测往上推了多少、往下拉了多少。但不要默认这种理解一定成立:要亲自核对,基准值加上各项贡献,是否等于模型对这笔申请返回的概率。

加总对得上,风控团队就能逐个数字追溯这份解释,而拒贷理由需要的正是这一点。

对 XGBoost、LightGBM 这类树模型,shap.TreeExplainer 使用 Tree SHAP。该库文档称,这是一种针对树和树集成模型的快速、精确的方法。

没有近似,也不用等上几个小时。

LIME 由 Ribeiro、Singh 和 Guestrin 于 2016 年提出,思路不同。它扰动申请中的数值,生成大量变体,让原模型逐一预测,再在这份新数据集上拟合一个简单模型。

离原申请越近的样本权重越高。LIME 支持表格数据上的分类器,数值列和类别列都可以,很适合信贷数据。

逐步拆解案例 4127

下面的代码以 interventional 模式在概率尺度上计算 SHAP。按照 SHAP 文档,这种模式需要背景数据集,因此从训练集中抽样 500 笔申请。

import shap
from lime.lime_tabular import LimeTabularExplainer

background = X_train.sample(500, random_state=0)
explainer = shap.TreeExplainer(
    model,
    data=background,
    feature_perturbation="interventional",
    model_output="probability",
)
x = X_test.loc[[4127]]
sv = explainer(x)
print(sv.base_values[0], sv.values[0].sum())

假设输出的基准值为 0.12,各项贡献之和为 +0.29;与 predict_proba 对比后确认,模型给出的违约概率正好是 0.41,高于公司 0.30 的审批阈值。

按特征看:负债收入比 52%,贡献 +0.14;过去 12 个月 3 次逾期,贡献 +0.11;在当前岗位仅 4 个月,贡献 +0.06;收入贡献 +0.03;9 年的信用历史则拉低 −0.05。

加总:0.14 + 0.11 + 0.06 + 0.03 − 0.05 = 0.29。

这个加总是第一件要核对的事。如果 base_values + values.sum() 与 model.predict_proba 对不上,先弄清楚你解释的是哪种输出(例如是对数几率而不是概率),再去看其他数字。

接着,在同一笔申请上运行 LIME 做对比:

lime_exp = LimeTabularExplainer(
    X_train.values,
    feature_names=list(X_train.columns),
    class_names=["repaid", "default"],
    mode="classification",
    random_state=0,
)
e = lime_exp.explain_instance(
    x.values[0], model.predict_proba, num_features=5
)
print(e.as_list())
# [('dti > 0.45', 0.21), ('late_payments_12m > 2', 0.17),
#  ('employment_months <= 6', 0.08), ('credit_age_years > 8', -0.06),
#  ('income <= 9000', 0.02)]

比较排序和方向,而不是大小

上面打印出的 SHAP 和 LIME 结果,用的是两种不同的尺度。在这个例子里,SHAP 值经核对,加起来正好等于从基准值 0.12 到预测值 0.41 的距离。

LIME 的权重则是局部线性模型的系数,拟合在“dti > 0.45”这类条件上,把它们加起来得不到有意义的数字。

因此比较两者时,只看两点:哪些特征排在最前,以及每个特征往哪个方向推。

特征 SHAP(排名,数值) LIME(排名,权重) 一致?
负债收入比 1,+0.14 1,+0.21 是
近 12 个月逾期次数 2,+0.11 2,+0.17 是
当前岗位在职时长 3,+0.06 3,+0.08 是
信用历史时长 拉低,−0.05 拉低,−0.06 是

在案例 4127 中,前三个理由在排序和方向上都一致。现在可以给客户写信了:负债收入比偏高,近期有逾期记录,在当前岗位时间较短。三句具体的话,每一句都对应申请中的一个数字。

在客户现场要做的五步

第一步,问风控团队希望在什么尺度上解释、审批阈值是多少,因为理由只有放在阈值旁边才有意义。第二步,运行 SHAP,核对加总与模型的实际输出一致。第三步,用几个不同的随机种子运行 LIME,与 SHAP 比较排序和方向。

第四步最常被跳过:在模型本身上验证。把申请 4127 的负债收入比降到中位数,再调用一次 predict_proba。

概率应当明显下降;如果没有,你的首要理由还达不到 CFPB 要求的准确程度。最后一步,把特征名映射成客户能看懂的措辞,让法务团队一次性审批这份映射,而不是逐封审信。

让错误理由看起来正确的三个陷阱

第一个陷阱是相关特征。SHAP 文档指出,SHAP 值建立在条件期望之上,因此必须决定如何处理彼此相关的特征,例如收入和贷款金额。

interventional 模式需要背景数据集;tree_path_dependent 模式不需要,因为它以经过每个叶节点的训练样本数作为背景分布。两种模式对贡献的分配可能不同,所以要选定一种,并记录理由。

第二个陷阱是 LIME 的不稳定。据 Christoph Molnar 的著作《Interpretable Machine Learning》,在表格数据上使用 LIME 时,如何选取邻域仍是一个未解决的问题。不要把单次 LIME 运行当作证据;如果前三名随种子变化,它就只能作为参考信号。

最后一个陷阱更严重。2019 年的一项研究表明,LIME 和 SHAP 这类基于扰动的解释技术,可能被刻意设计的对抗模型欺骗,作者的结论是它们并不可靠。

正因如此,上面那一步改动真实数据的验证是必做项,而不是可选项。

如何在简历上体现这项技能

阅读金融科技公司或银行的岗位描述时,留意“model explainability”“reason codes”“adverse action”这类说法。简历上不要只写“用过 SHAP”。

写清楚你交付了什么:一条为每笔申请生成拒贷理由的数据管道,包含加总校验、与 LIME 的交叉比对,以及反事实验证。

如果你应聘信贷相关岗位,要准备好结合一笔具体申请,带着你核对过的数字,把每一步讲清楚。

下次再有邮件问“这笔申请为什么被拒?”,不必打开一份讲模型准确率的幻灯片。把从 0.12 到 0.41 的加总发过去,附上其中每一项都经过验证的证据。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 4: 客户工作AI 演示后的十秒钟,决定整个项目的走向能读三张精选发票的原型,不等于能处理所有发票的系统,而在场的财务负责人看不出这道差距。