FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

万行表格数据上,深度学习仍难胜过树模型

图像和文本则相反;数据类型、标注、可解释性和 GPU 四个问题,基本能定下客户的选型。

分享微博

要点速览

  • Grinsztajn 等人的基准测试显示,在中等规模表格数据(约 10,000 个样本)上,树模型仍是最先进的方案。
  • 图像和文本本身不是数值数据,深度学习能直接从原始数据中自动学习特征,这正是它的优势所在。
  • 选型前先问客户四个问题:数据类型、数据量、可解释性要求和 GPU。
示意图:左侧是银行的三个数据源——约 10,000 行带标注的贷款历史表、扫描文档和投诉邮件。贷款表直接指向橙色的“树模型”框,标注“按阈值切分”;图像和邮件汇成一条路径,进入蓝色的“深度学习”框,标注“学习特征”。下方列出需要先确定的四个问题:数据是什么类型、有多少带标注的样本、谁需要解释、基础设施有没有 GPU。
数据类型决定起点:表格用树模型,图像和文本用深度学习。客户的标注数量、可解释性要求和 GPU 条件,决定能否继续推进。

在一家银行驻场的第一周,桌上来了三份数据:一张贷款历史表、一个扫描文档文件夹,还有一批客户投诉邮件。会上有人问出了那个熟悉的问题:“三个都直接用深度学习吧?”

正确答案既不是“是”,也不是“否”。这取决于数据的形式,而前线部署工程师(FDE)要能在两分钟内讲清楚原因。这是 FDE 最早要做的技术决策之一,它影响基础设施成本、出结果的速度,也决定客户最终是否信任这个模型。

本文给出一个简单的思考方法,围绕四个问题展开:数据是什么形式、有多少标注、谁需要解释、有没有 GPU。多数情况下,这四个问题就足以给出答案。

中等规模表格,仍是树模型的主场

贷款表是典型的监督学习问题。Microsoft Learn 对监督学习的描述是:训练数据同时包含特征值和已知标签。它举的正是这个例子:根据收入、信用记录、年龄等因素,预测银行客户是否会违约。

这是表格数据上的二分类问题。

对这类数据,证据相当明确。Grinsztajn 等人针对表格数据的基准测试得出结论:在约 10,000 个样本的中等规模数据集上,树模型仍是最先进的方案。如果客户的表格大致是这个规模,这就是倾向树模型的第一个信号。

原因并非经验之谈。作者指出,神经网络偏向过于平滑的解,因此难以学习不规则的函数。而表格数据恰恰充满这种阶跃变化:收入一旦越过某个阈值,风险就会陡然变化;逾期两次及以上,和逾期一次的含义完全不同。

决策树天然就是按阈值切分的。

实例:为贷款表搭建基线

假设表格约有 10,000 行,包含 income、age、num_late_payments、loan_type 等列,标签为 defaulted。第一步不是设计网络结构,而是用几十行代码搭一个梯度提升基线。

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import roc_auc_score

df = pd.read_csv("loans.csv")
X = df.drop(columns=["defaulted"])
y = df["defaulted"]
X["loan_type"] = X["loan_type"].astype("category")

X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42)

model = HistGradientBoostingClassifier(categorical_features="from_dtype")
model.fit(X_tr, y_tr)
print("AUC:", roc_auc_score(y_te, model.predict_proba(X_te)[:, 1]))

这个基线在笔记本电脑上就能跑,不需要 GPU,还能给出一个可以拿来讨论的数字。之后如果有人想试神经网络,就必须在同一个测试集上超过这个数字。这样,关于“什么更时髦”的争论就变成了一次测量。

表格数据并非不能用神经网络。fast.ai 的 Practical Deep Learning 课程专门有一部分讲表格数据,涵盖类别变量、连续变量和混合变量。但应当把神经网络当作第二候选:先有树模型基线,且数据量足够大时,才值得尝试。

换成图像和文本,天平就倒向另一边

文档文件夹和邮件存档则是另一回事。IBM 解释说,文本、图像、社交网络图和用户行为本身都不是数值数据,因此需要多得多的特征处理。

用经典机器学习,就得有人琢磨如何把一张发票照片变成数值列,这项工作费力又容易出错。

深度学习直接处理原始数据,能把大部分特征工程自动化。Microsoft Learn 也提到,深度神经网络可用于回归、分类,以及自然语言处理和计算机视觉的专用模型。对扫描文档和投诉邮件,应当从深度学习入手。

决策前要问客户的四个问题

数据形式指明方向,但这条路走不走得通,取决于客户的具体情况。IBM 点出了核心权衡:与传统机器学习相比,深度学习更易扩展,但更难解释,而且需要海量数据。Microsoft Learn 补充说,神经网络应在配备 GPU 的机器上训练,因为 GPU 针对矩阵运算做了优化。

问客户的问题 如果答案倾向于…… 对选型的意义
数据是什么形式? 表格,或图像和文本 表格:从树模型开始;图像和文本:从深度学习开始
有多少带标注的样本? 几千到几万 倾向树模型,表格数据尤其如此
谁需要理解模型为何这样判断? 信贷、审计、法务 树模型更易解释;把这项要求写下来
有没有 GPU 基础设施? 没有,或需要审批预算 深度学习会带来额外成本和部署时间

以本文中的银行为例,贷款表在四个问题上都指向树模型。图像和邮件值得投入深度学习,但第一周就得问清两件事:带标注的图像够不够?GPU 在哪里?

在客户现场落地的五个步骤

第一步:把每个数据源归类为表格、图像、文本或混合类型。第二步:统计真正带标注的样本数,而不是原始行数,因为监督学习需要的是标签。

第三步:问清谁会使用结果,以及他们要向谁解释。第四步:检查基础设施,包括 GPU、数据允许存放的位置,以及可以接受的训练时长。

第五步:先针对数据类型搭建成本最低的基线,再在同一个测试集上尝试更重的方案。把结果写成一页客户能看懂的简短说明。

常见错误

更难察觉的错误是忘了问可解释性。一个准确率很高、但信贷团队无法向借款人或审计人员解释的模型,永远走不出演示阶段。

对准备申请 FDE 岗位的人来说,这正是值得写进简历的决策:不只是“用了 XGBoost”,而是“因数据规模中等且有可解释性要求,选择树模型而非神经网络,并在同一测试集上做了对比”。

下次开会,再有人问“三个都用深度学习吧?”,就有了更简短的回答:表格用树模型,图像和文本用神经网络,再拿一个基线来证明。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用Agent 为何到第 60 步就失忆,上下文压缩怎么救一个由轻到重的六步循环,在每次调用模型前决定 Agent 的历史哪些该留。