# 只调一个阈值，不重新训练，信用模型亏损收窄

> 在scikit-learn示例中，给每类错误定准价格后，收益从-209升至-143；客户关心的是这笔代价，而非AUC。

原文: https://fdetimes.net/zh/guides/choose-classification-threshold-by-error-cost/

在一个信用评分示例中，scikit-learn 文档保持模型不变，只改了一个数字：决策阈值。业务收益从 -209 升到 -143，几乎好了一倍。没有新特征，也没有重新训练。

对想做前线部署工程师（FDE）的人来说，这是见客户之前值得练好的技能。数据科学家习惯报告 AUC 或准确率，客户想知道的却是：准到什么程度才算够，每犯一次错要花多少钱、多少人工工时。本指南带你在自己的笔记本电脑上，用代码一步步回答这个问题。

**要做什么：** 写一个成本函数，在验证集上扫描阈值，选出最好的一个，再到测试集上检验。**需要什么：** Python 3，以及任意一个能输出概率分数的二分类器。下面的代码刻意只用纯 Python、不调用任何库，每一步计算都看得见。这是供学习用的简化版本。

## 你在选指标，还是在选错误类型？

先记住两个定义：精确率是预测为正的样本中真正为正的比例，召回率是实际为正的样本中被模型抓到的比例。Domino 的数据科学词典指出了一个常被忽略的点：偏向精确率还是召回率，会改变模型优先避免的错误类型。

Google 的 ML Crash Course 给了一条好用的规则：假阴性代价高于假阳性时，优先召回率；正向预测必须准确时，优先精确率。数据不平衡时，不要用准确率。

为什么不用准确率？假设有 1,000 份贷款申请，其中 100 份来自坏借款人。一个“偷懒”的模型把所有人都判为好借款人，准确率能达到 90%，却一个坏借款人都没抓到。所以第一步是和客户谈，而不是写代码。

## 第 1 步：向客户要到每类错误的价格

在 scikit-learn 的示例中，“正类”指坏借款人。误把钱借给坏借款人（假阴性）的平均代价，是误拒好借款人（假阳性）的五倍。因此收益矩阵给每个 FP 记 -1 分，每个 FN 记 -5 分。

```python
COST_FP = 1   # 好借款人被误拒
COST_FN = 5   # 坏借款人被误批

def business_cost(tp, fp, tn, fn):
    return COST_FP * fp + COST_FN * fn
```

**检查：** 客户认同 1:5 这个比例吗？数字不必精确，但必须来自懂业务的人，不能由工程师来猜。

## 第 2 步：把分数转成标签

模型返回的是概率。要得到标签，就得选一个概率作为分界点，即分类阈值。Google 指出，不同阈值通常会得到不同的 TP、FP、TN 和 FN 数量。

```python
def confusion_at(y_true, y_score, threshold):
    tp = fp = tn = fn = 0
    for y, s in zip(y_true, y_score):
        pred = 1 if s >= threshold else 0
        if pred == 1 and y == 1: tp += 1
        elif pred == 1 and y == 0: fp += 1
        elif pred == 0 and y == 0: tn += 1
        else: fn += 1
    return tp, fp, tn, fn
```

**检查：** tp + fp + tn + fn 必须等于样本数。如果不等，说明标签里有 0 和 1 以外的值。

## 第 3 步：扫描阈值，而不是相信 0.5

scikit-learn 文档说得很直白：默认策略（0.5 阈值）对手头的问题很可能不是最优的。最优阈值是让你选定的指标达到最好的那个阈值，这里的指标就是业务成本。

```python
def sweep(y_true, y_score):
    rows = []
    for i in range(5, 96, 5):
        t = i / 100
        tp, fp, tn, fn = confusion_at(y_true, y_score, t)
        precision = tp / (tp + fp) if tp + fp else 0.0
        recall = tp / (tp + fn) if tp + fn else 0.0
        rows.append((t, business_cost(tp, fp, tn, fn), precision, recall))
    return sorted(rows, key=lambda r: r[1])
```

为了看清输出是什么样，回到上面假设的 1,000 份申请。表中数字仅作示意，并非实测。

| 分类方式 | TP / FP / FN | 精确率 | 召回率 | 准确率 | 成本 |
|---|---|---|---|---|---|
| 所有人都判为好借款人 | 0 / 0 / 100 | — | 0% | 90% | 500 |
| 阈值 0.5 | 40 / 10 / 60 | 80% | 40% | 93% | 310 |
| 阈值 0.2 | 75 / 60 / 25 | 55.6% | 75% | 91.5% | 185 |

值得注意的细节：阈值从 0.5 降到 0.2，准确率下降，成本却大幅减少；召回率上升，精确率下降。这与 scikit-learn 在信用示例中调阈值时记录的取舍属于同一类。按准确率报告，就会选错阈值。

## 第 4 步：绝不在训练数据上调阈值

scikit-learn 的指南明确说，不要用同一份数据集既训练分类器又调阈值，否则会过拟合。在训练数据上，模型比实际更有把握，在那里找到的阈值会过于乐观。

稳妥的做法是把数据分成三份：训练集用来拟合模型，验证集用来运行 `sweep`，测试集用来在选定阈值下最后测一次成本。如果测试集上的成本明显高于验证集，说明你的阈值在拟合噪声。

**检查：** 用选定的阈值在测试集上运行 `confusion_at`，再计算 `business_cost`。报告里写这个数字，而不是验证集上的数字。

## 那 AUC 有什么用？

AUC 和 ROC 曲线衡量的是模型在所有可能阈值下区分两类的能力。正因如此，AUC 无法告诉你阈值该设在哪里。它适合在选阈值之前比较两个模型，但替代不了生产环境中实际运行的那个阈值下的成本。

**要点:** AUC 帮你选模型，特定阈值下的成本帮你做决策。客户买单的是后者。

## 这项技能在客户现场是什么样

假设你为一家银行部署一个标记可疑交易的模型。运营部门会抱怨误报太多，风控部门会担心漏报。双方都有道理，只有拿出一个共同的数字，争论才会结束：每类错误的成本。

第一件事是和双方坐下来问：漏掉一次的代价是误报一次的多少倍？然后运行 `sweep`，给他们看一张类似上面的表，让他们挑出合适的那一行。阈值于是成了有证据支撑的业务决策，不再是埋在代码里的技术参数。

在简历或面试中，不要只写“AUC 达到 0.9”。要写你把客户需求转成了成本函数，在独立的验证集上选定阈值，与默认阈值相比把错误成本降低了多少个百分点。

当岗位描述要求候选人能把业务需求转化为指标时，这个例子就是现成的证明。

如果阈值选错，笔记本里最好的模型在现实中可能是最贵的那个。先问客户“哪种错误更贵？”再写代码的工程师，通常才是会被再次邀请的那个人。

**本周动手试试:**

- 拿一个现有的分类器，按 FP:FN 为 1:5 的成本比例运行本指南中的 sweep 函数，把最佳阈值和 0.5 做比较。
- 为下次客户会议准备一个问题：“漏掉一个坏案例的代价，是误报一个好案例的多少倍？”
- 在项目 README 中加一张表，列出选定阈值下的精确率、召回率和成本，再用一句话说明为什么选这个阈值。

## 信源

- [What is Model Evaluation (Domino Data Science Dictionary)](https://domino.ai/data-science-dictionary/model-evaluation)

- [Thresholds and the confusion matrix (Google ML Crash Course)](https://developers.google.com/machine-learning/crash-course/classification/thresholding)

- [Accuracy, precision, and recall (Google ML Crash Course)](https://developers.google.com/machine-learning/crash-course/classification/accuracy-precision-recall)

- [Post-tuning the decision threshold for cost-sensitive learning (scikit-learn)](https://scikit-learn.org/stable/auto_examples/model_selection/plot_cost_sensitive_learning.html)

- [Tuning the decision threshold for class prediction (scikit-learn User Guide)](https://scikit-learn.org/stable/modules/classification_threshold.html)
