FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

只调一个阈值,不重新训练,信用模型亏损收窄

在scikit-learn示例中,给每类错误定准价格后,收益从-209升至-143;客户关心的是这笔代价,而非AUC。

分享微博

要点速览

  • 选精确率还是召回率,实质是选模型优先避免哪类错误,所以答案在客户的成本里。
  • 默认的 0.5 阈值在实际问题中很可能不是最优。在 scikit-learn 的示例中,按成本调阈值让业务收益从 -209 变为 -143。
  • AUC 覆盖所有阈值,适合比较模型。做决策必须选定一个阈值,而且要在未参与训练的数据上调。
横向条形图,比较 1,000 份假设贷款申请(其中 100 份来自坏借款人)的错误成本,成本 = 1 × FP + 5 × FN。把所有人都判为好客户:准确率 90%,召回率 0%,成本 500。默认阈值 0.5:准确率 93%,为三者最高,成本 310。阈值 0.2:准确率 91.5%,召回率 75%,成本最低,为 185,以橙色突出。结尾方框写着:按错误成本选阈值,而不是按准确率。在 scikit-learn 示例中,收益从 -209 改善到 -143。
同一个模型,准确率最高的阈值(0.5)并不是错误成本最低的阈值。数字仅作示意,并非实测。

在一个信用评分示例中,scikit-learn 文档保持模型不变,只改了一个数字:决策阈值。业务收益从 -209 升到 -143,几乎好了一倍。没有新特征,也没有重新训练。

对想做前线部署工程师(FDE)的人来说,这是见客户之前值得练好的技能。数据科学家习惯报告 AUC 或准确率,客户想知道的却是:准到什么程度才算够,每犯一次错要花多少钱、多少人工工时。本指南带你在自己的笔记本电脑上,用代码一步步回答这个问题。

要做什么: 写一个成本函数,在验证集上扫描阈值,选出最好的一个,再到测试集上检验。需要什么: Python 3,以及任意一个能输出概率分数的二分类器。下面的代码刻意只用纯 Python、不调用任何库,每一步计算都看得见。这是供学习用的简化版本。

你在选指标,还是在选错误类型?

先记住两个定义:精确率是预测为正的样本中真正为正的比例,召回率是实际为正的样本中被模型抓到的比例。Domino 的数据科学词典指出了一个常被忽略的点:偏向精确率还是召回率,会改变模型优先避免的错误类型。

Google 的 ML Crash Course 给了一条好用的规则:假阴性代价高于假阳性时,优先召回率;正向预测必须准确时,优先精确率。数据不平衡时,不要用准确率。

为什么不用准确率?假设有 1,000 份贷款申请,其中 100 份来自坏借款人。一个“偷懒”的模型把所有人都判为好借款人,准确率能达到 90%,却一个坏借款人都没抓到。所以第一步是和客户谈,而不是写代码。

第 1 步:向客户要到每类错误的价格

在 scikit-learn 的示例中,“正类”指坏借款人。误把钱借给坏借款人(假阴性)的平均代价,是误拒好借款人(假阳性)的五倍。因此收益矩阵给每个 FP 记 -1 分,每个 FN 记 -5 分。

COST_FP = 1   # 好借款人被误拒
COST_FN = 5   # 坏借款人被误批

def business_cost(tp, fp, tn, fn):
    return COST_FP * fp + COST_FN * fn

检查: 客户认同 1:5 这个比例吗?数字不必精确,但必须来自懂业务的人,不能由工程师来猜。

第 2 步:把分数转成标签

模型返回的是概率。要得到标签,就得选一个概率作为分界点,即分类阈值。Google 指出,不同阈值通常会得到不同的 TP、FP、TN 和 FN 数量。

def confusion_at(y_true, y_score, threshold):
    tp = fp = tn = fn = 0
    for y, s in zip(y_true, y_score):
        pred = 1 if s >= threshold else 0
        if pred == 1 and y == 1: tp += 1
        elif pred == 1 and y == 0: fp += 1
        elif pred == 0 and y == 0: tn += 1
        else: fn += 1
    return tp, fp, tn, fn

检查: tp + fp + tn + fn 必须等于样本数。如果不等,说明标签里有 0 和 1 以外的值。

第 3 步:扫描阈值,而不是相信 0.5

scikit-learn 文档说得很直白:默认策略(0.5 阈值)对手头的问题很可能不是最优的。最优阈值是让你选定的指标达到最好的那个阈值,这里的指标就是业务成本。

def sweep(y_true, y_score):
    rows = []
    for i in range(5, 96, 5):
        t = i / 100
        tp, fp, tn, fn = confusion_at(y_true, y_score, t)
        precision = tp / (tp + fp) if tp + fp else 0.0
        recall = tp / (tp + fn) if tp + fn else 0.0
        rows.append((t, business_cost(tp, fp, tn, fn), precision, recall))
    return sorted(rows, key=lambda r: r[1])

为了看清输出是什么样,回到上面假设的 1,000 份申请。表中数字仅作示意,并非实测。

分类方式 TP / FP / FN 精确率 召回率 准确率 成本
所有人都判为好借款人 0 / 0 / 100 — 0% 90% 500
阈值 0.5 40 / 10 / 60 80% 40% 93% 310
阈值 0.2 75 / 60 / 25 55.6% 75% 91.5% 185

值得注意的细节:阈值从 0.5 降到 0.2,准确率下降,成本却大幅减少;召回率上升,精确率下降。这与 scikit-learn 在信用示例中调阈值时记录的取舍属于同一类。按准确率报告,就会选错阈值。

第 4 步:绝不在训练数据上调阈值

scikit-learn 的指南明确说,不要用同一份数据集既训练分类器又调阈值,否则会过拟合。在训练数据上,模型比实际更有把握,在那里找到的阈值会过于乐观。

稳妥的做法是把数据分成三份:训练集用来拟合模型,验证集用来运行 sweep,测试集用来在选定阈值下最后测一次成本。如果测试集上的成本明显高于验证集,说明你的阈值在拟合噪声。

检查: 用选定的阈值在测试集上运行 confusion_at,再计算 business_cost。报告里写这个数字,而不是验证集上的数字。

那 AUC 有什么用?

AUC 和 ROC 曲线衡量的是模型在所有可能阈值下区分两类的能力。正因如此,AUC 无法告诉你阈值该设在哪里。它适合在选阈值之前比较两个模型,但替代不了生产环境中实际运行的那个阈值下的成本。

这项技能在客户现场是什么样

假设你为一家银行部署一个标记可疑交易的模型。运营部门会抱怨误报太多,风控部门会担心漏报。双方都有道理,只有拿出一个共同的数字,争论才会结束:每类错误的成本。

第一件事是和双方坐下来问:漏掉一次的代价是误报一次的多少倍?然后运行 sweep,给他们看一张类似上面的表,让他们挑出合适的那一行。阈值于是成了有证据支撑的业务决策,不再是埋在代码里的技术参数。

在简历或面试中,不要只写“AUC 达到 0.9”。要写你把客户需求转成了成本函数,在独立的验证集上选定阈值,与默认阈值相比把错误成本降低了多少个百分点。

当岗位描述要求候选人能把业务需求转化为指标时,这个例子就是现成的证明。

如果阈值选错,笔记本里最好的模型在现实中可能是最贵的那个。先问客户“哪种错误更贵?”再写代码的工程师,通常才是会被再次邀请的那个人。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量Agent 仪表盘全绿,客户却仍不满意完成率、工具错误、步数和升级率从第一周就能测,能把模糊抱怨变成修复清单。