只调一个阈值,不重新训练,信用模型亏损收窄
在scikit-learn示例中,给每类错误定准价格后,收益从-209升至-143;客户关心的是这笔代价,而非AUC。
要点速览
- 选精确率还是召回率,实质是选模型优先避免哪类错误,所以答案在客户的成本里。
- 默认的 0.5 阈值在实际问题中很可能不是最优。在 scikit-learn 的示例中,按成本调阈值让业务收益从 -209 变为 -143。
- AUC 覆盖所有阈值,适合比较模型。做决策必须选定一个阈值,而且要在未参与训练的数据上调。
在一个信用评分示例中,scikit-learn 文档保持模型不变,只改了一个数字:决策阈值。业务收益从 -209 升到 -143,几乎好了一倍。没有新特征,也没有重新训练。
对想做前线部署工程师(FDE)的人来说,这是见客户之前值得练好的技能。数据科学家习惯报告 AUC 或准确率,客户想知道的却是:准到什么程度才算够,每犯一次错要花多少钱、多少人工工时。本指南带你在自己的笔记本电脑上,用代码一步步回答这个问题。
要做什么: 写一个成本函数,在验证集上扫描阈值,选出最好的一个,再到测试集上检验。需要什么: Python 3,以及任意一个能输出概率分数的二分类器。下面的代码刻意只用纯 Python、不调用任何库,每一步计算都看得见。这是供学习用的简化版本。
你在选指标,还是在选错误类型?
先记住两个定义:精确率是预测为正的样本中真正为正的比例,召回率是实际为正的样本中被模型抓到的比例。Domino 的数据科学词典指出了一个常被忽略的点:偏向精确率还是召回率,会改变模型优先避免的错误类型。
Google 的 ML Crash Course 给了一条好用的规则:假阴性代价高于假阳性时,优先召回率;正向预测必须准确时,优先精确率。数据不平衡时,不要用准确率。
为什么不用准确率?假设有 1,000 份贷款申请,其中 100 份来自坏借款人。一个“偷懒”的模型把所有人都判为好借款人,准确率能达到 90%,却一个坏借款人都没抓到。所以第一步是和客户谈,而不是写代码。
第 1 步:向客户要到每类错误的价格
在 scikit-learn 的示例中,“正类”指坏借款人。误把钱借给坏借款人(假阴性)的平均代价,是误拒好借款人(假阳性)的五倍。因此收益矩阵给每个 FP 记 -1 分,每个 FN 记 -5 分。
COST_FP = 1 # 好借款人被误拒
COST_FN = 5 # 坏借款人被误批
def business_cost(tp, fp, tn, fn):
return COST_FP * fp + COST_FN * fn
检查: 客户认同 1:5 这个比例吗?数字不必精确,但必须来自懂业务的人,不能由工程师来猜。
第 2 步:把分数转成标签
模型返回的是概率。要得到标签,就得选一个概率作为分界点,即分类阈值。Google 指出,不同阈值通常会得到不同的 TP、FP、TN 和 FN 数量。
def confusion_at(y_true, y_score, threshold):
tp = fp = tn = fn = 0
for y, s in zip(y_true, y_score):
pred = 1 if s >= threshold else 0
if pred == 1 and y == 1: tp += 1
elif pred == 1 and y == 0: fp += 1
elif pred == 0 and y == 0: tn += 1
else: fn += 1
return tp, fp, tn, fn
检查: tp + fp + tn + fn 必须等于样本数。如果不等,说明标签里有 0 和 1 以外的值。
第 3 步:扫描阈值,而不是相信 0.5
scikit-learn 文档说得很直白:默认策略(0.5 阈值)对手头的问题很可能不是最优的。最优阈值是让你选定的指标达到最好的那个阈值,这里的指标就是业务成本。
def sweep(y_true, y_score):
rows = []
for i in range(5, 96, 5):
t = i / 100
tp, fp, tn, fn = confusion_at(y_true, y_score, t)
precision = tp / (tp + fp) if tp + fp else 0.0
recall = tp / (tp + fn) if tp + fn else 0.0
rows.append((t, business_cost(tp, fp, tn, fn), precision, recall))
return sorted(rows, key=lambda r: r[1])
为了看清输出是什么样,回到上面假设的 1,000 份申请。表中数字仅作示意,并非实测。
| 分类方式 | TP / FP / FN | 精确率 | 召回率 | 准确率 | 成本 |
|---|---|---|---|---|---|
| 所有人都判为好借款人 | 0 / 0 / 100 | — | 0% | 90% | 500 |
| 阈值 0.5 | 40 / 10 / 60 | 80% | 40% | 93% | 310 |
| 阈值 0.2 | 75 / 60 / 25 | 55.6% | 75% | 91.5% | 185 |
值得注意的细节:阈值从 0.5 降到 0.2,准确率下降,成本却大幅减少;召回率上升,精确率下降。这与 scikit-learn 在信用示例中调阈值时记录的取舍属于同一类。按准确率报告,就会选错阈值。
第 4 步:绝不在训练数据上调阈值
scikit-learn 的指南明确说,不要用同一份数据集既训练分类器又调阈值,否则会过拟合。在训练数据上,模型比实际更有把握,在那里找到的阈值会过于乐观。
稳妥的做法是把数据分成三份:训练集用来拟合模型,验证集用来运行 sweep,测试集用来在选定阈值下最后测一次成本。如果测试集上的成本明显高于验证集,说明你的阈值在拟合噪声。
检查: 用选定的阈值在测试集上运行 confusion_at,再计算 business_cost。报告里写这个数字,而不是验证集上的数字。
那 AUC 有什么用?
AUC 和 ROC 曲线衡量的是模型在所有可能阈值下区分两类的能力。正因如此,AUC 无法告诉你阈值该设在哪里。它适合在选阈值之前比较两个模型,但替代不了生产环境中实际运行的那个阈值下的成本。
这项技能在客户现场是什么样
假设你为一家银行部署一个标记可疑交易的模型。运营部门会抱怨误报太多,风控部门会担心漏报。双方都有道理,只有拿出一个共同的数字,争论才会结束:每类错误的成本。
第一件事是和双方坐下来问:漏掉一次的代价是误报一次的多少倍?然后运行 sweep,给他们看一张类似上面的表,让他们挑出合适的那一行。阈值于是成了有证据支撑的业务决策,不再是埋在代码里的技术参数。
在简历或面试中,不要只写“AUC 达到 0.9”。要写你把客户需求转成了成本函数,在独立的验证集上选定阈值,与默认阈值相比把错误成本降低了多少个百分点。
当岗位描述要求候选人能把业务需求转化为指标时,这个例子就是现成的证明。
如果阈值选错,笔记本里最好的模型在现实中可能是最贵的那个。先问客户“哪种错误更贵?”再写代码的工程师,通常才是会被再次邀请的那个人。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- What is Model Evaluation (Domino Data Science Dictionary)
- Thresholds and the confusion matrix (Google ML Crash Course) · 2026-01-12
- Accuracy, precision, and recall (Google ML Crash Course) · 2026-01-12
- Post-tuning the decision threshold for cost-sensitive learning (scikit-learn)
- Tuning the decision threshold for class prediction (scikit-learn User Guide)