万行表格数据上,深度学习仍难胜过树模型
图像和文本则相反;数据类型、标注、可解释性和 GPU 四个问题,基本能定下客户的选型。
要点速览
- Grinsztajn 等人的基准测试显示,在中等规模表格数据(约 10,000 个样本)上,树模型仍是最先进的方案。
- 图像和文本本身不是数值数据,深度学习能直接从原始数据中自动学习特征,这正是它的优势所在。
- 选型前先问客户四个问题:数据类型、数据量、可解释性要求和 GPU。
在一家银行驻场的第一周,桌上来了三份数据:一张贷款历史表、一个扫描文档文件夹,还有一批客户投诉邮件。会上有人问出了那个熟悉的问题:“三个都直接用深度学习吧?”
正确答案既不是“是”,也不是“否”。这取决于数据的形式,而前线部署工程师(FDE)要能在两分钟内讲清楚原因。这是 FDE 最早要做的技术决策之一,它影响基础设施成本、出结果的速度,也决定客户最终是否信任这个模型。
本文给出一个简单的思考方法,围绕四个问题展开:数据是什么形式、有多少标注、谁需要解释、有没有 GPU。多数情况下,这四个问题就足以给出答案。
中等规模表格,仍是树模型的主场
贷款表是典型的监督学习问题。Microsoft Learn 对监督学习的描述是:训练数据同时包含特征值和已知标签。它举的正是这个例子:根据收入、信用记录、年龄等因素,预测银行客户是否会违约。
这是表格数据上的二分类问题。
对这类数据,证据相当明确。Grinsztajn 等人针对表格数据的基准测试得出结论:在约 10,000 个样本的中等规模数据集上,树模型仍是最先进的方案。如果客户的表格大致是这个规模,这就是倾向树模型的第一个信号。
原因并非经验之谈。作者指出,神经网络偏向过于平滑的解,因此难以学习不规则的函数。而表格数据恰恰充满这种阶跃变化:收入一旦越过某个阈值,风险就会陡然变化;逾期两次及以上,和逾期一次的含义完全不同。
决策树天然就是按阈值切分的。
实例:为贷款表搭建基线
假设表格约有 10,000 行,包含 income、age、num_late_payments、loan_type 等列,标签为 defaulted。第一步不是设计网络结构,而是用几十行代码搭一个梯度提升基线。
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import roc_auc_score
df = pd.read_csv("loans.csv")
X = df.drop(columns=["defaulted"])
y = df["defaulted"]
X["loan_type"] = X["loan_type"].astype("category")
X_tr, X_te, y_tr, y_te = train_test_split(
X, y, test_size=0.2, stratify=y, random_state=42)
model = HistGradientBoostingClassifier(categorical_features="from_dtype")
model.fit(X_tr, y_tr)
print("AUC:", roc_auc_score(y_te, model.predict_proba(X_te)[:, 1]))
这个基线在笔记本电脑上就能跑,不需要 GPU,还能给出一个可以拿来讨论的数字。之后如果有人想试神经网络,就必须在同一个测试集上超过这个数字。这样,关于“什么更时髦”的争论就变成了一次测量。
表格数据并非不能用神经网络。fast.ai 的 Practical Deep Learning 课程专门有一部分讲表格数据,涵盖类别变量、连续变量和混合变量。但应当把神经网络当作第二候选:先有树模型基线,且数据量足够大时,才值得尝试。
换成图像和文本,天平就倒向另一边
文档文件夹和邮件存档则是另一回事。IBM 解释说,文本、图像、社交网络图和用户行为本身都不是数值数据,因此需要多得多的特征处理。
用经典机器学习,就得有人琢磨如何把一张发票照片变成数值列,这项工作费力又容易出错。
深度学习直接处理原始数据,能把大部分特征工程自动化。Microsoft Learn 也提到,深度神经网络可用于回归、分类,以及自然语言处理和计算机视觉的专用模型。对扫描文档和投诉邮件,应当从深度学习入手。
决策前要问客户的四个问题
数据形式指明方向,但这条路走不走得通,取决于客户的具体情况。IBM 点出了核心权衡:与传统机器学习相比,深度学习更易扩展,但更难解释,而且需要海量数据。Microsoft Learn 补充说,神经网络应在配备 GPU 的机器上训练,因为 GPU 针对矩阵运算做了优化。
| 问客户的问题 | 如果答案倾向于…… | 对选型的意义 |
|---|---|---|
| 数据是什么形式? | 表格,或图像和文本 | 表格:从树模型开始;图像和文本:从深度学习开始 |
| 有多少带标注的样本? | 几千到几万 | 倾向树模型,表格数据尤其如此 |
| 谁需要理解模型为何这样判断? | 信贷、审计、法务 | 树模型更易解释;把这项要求写下来 |
| 有没有 GPU 基础设施? | 没有,或需要审批预算 | 深度学习会带来额外成本和部署时间 |
以本文中的银行为例,贷款表在四个问题上都指向树模型。图像和邮件值得投入深度学习,但第一周就得问清两件事:带标注的图像够不够?GPU 在哪里?
在客户现场落地的五个步骤
第一步:把每个数据源归类为表格、图像、文本或混合类型。第二步:统计真正带标注的样本数,而不是原始行数,因为监督学习需要的是标签。
第三步:问清谁会使用结果,以及他们要向谁解释。第四步:检查基础设施,包括 GPU、数据允许存放的位置,以及可以接受的训练时长。
第五步:先针对数据类型搭建成本最低的基线,再在同一个测试集上尝试更重的方案。把结果写成一页客户能看懂的简短说明。
常见错误
更难察觉的错误是忘了问可解释性。一个准确率很高、但信贷团队无法向借款人或审计人员解释的模型,永远走不出演示阶段。
对准备申请 FDE 岗位的人来说,这正是值得写进简历的决策:不只是“用了 XGBoost”,而是“因数据规模中等且有可解释性要求,选择树模型而非神经网络,并在同一测试集上做了对比”。
下次开会,再有人问“三个都用深度学习吧?”,就有了更简短的回答:表格用树模型,图像和文本用神经网络,再拿一个基线来证明。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Why do tree-based models still outperform deep learning on tabular data? (Grinsztajn et al.) · 2022-07-18
- What is Machine Learning? | IBM · 2025-08-18
- Types of machine learning model - Training | Microsoft Learn · 2026-03-27
- Deep learning - Training | Microsoft Learn · 2026-03-27
- Practical Deep Learning for Coders - Practical Deep Learning