# 万行表格数据上，深度学习仍难胜过树模型

> 图像和文本则相反；数据类型、标注、可解释性和 GPU 四个问题，基本能定下客户的选型。

原文: https://fdetimes.net/zh/guides/classical-ml-vs-deep-learning-client-data/

在一家银行驻场的第一周，桌上来了三份数据：一张贷款历史表、一个扫描文档文件夹，还有一批客户投诉邮件。会上有人问出了那个熟悉的问题：“三个都直接用深度学习吧？”

正确答案既不是“是”，也不是“否”。这取决于数据的形式，而前线部署工程师（FDE）要能在两分钟内讲清楚原因。这是 FDE 最早要做的技术决策之一，它影响基础设施成本、出结果的速度，也决定客户最终是否信任这个模型。

本文给出一个简单的思考方法，围绕四个问题展开：数据是什么形式、有多少标注、谁需要解释、有没有 GPU。多数情况下，这四个问题就足以给出答案。

## 中等规模表格，仍是树模型的主场

贷款表是典型的监督学习问题。Microsoft Learn 对监督学习的描述是：训练数据同时包含特征值和已知标签。它举的正是这个例子：根据收入、信用记录、年龄等因素，预测银行客户是否会违约。

这是表格数据上的二分类问题。

对这类数据，证据相当明确。Grinsztajn 等人针对表格数据的基准测试得出结论：在约 10,000 个样本的中等规模数据集上，树模型仍是最先进的方案。如果客户的表格大致是这个规模，这就是倾向树模型的第一个信号。

原因并非经验之谈。作者指出，神经网络偏向过于平滑的解，因此难以学习不规则的函数。而表格数据恰恰充满这种阶跃变化：收入一旦越过某个阈值，风险就会陡然变化；逾期两次及以上，和逾期一次的含义完全不同。

决策树天然就是按阈值切分的。

## 实例：为贷款表搭建基线

假设表格约有 10,000 行，包含 `income`、`age`、`num_late_payments`、`loan_type` 等列，标签为 `defaulted`。第一步不是设计网络结构，而是用几十行代码搭一个梯度提升基线。

```python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import roc_auc_score

df = pd.read_csv("loans.csv")
X = df.drop(columns=["defaulted"])
y = df["defaulted"]
X["loan_type"] = X["loan_type"].astype("category")

X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42)

model = HistGradientBoostingClassifier(categorical_features="from_dtype")
model.fit(X_tr, y_tr)
print("AUC:", roc_auc_score(y_te, model.predict_proba(X_te)[:, 1]))
```

这个基线在笔记本电脑上就能跑，不需要 GPU，还能给出一个可以拿来讨论的数字。之后如果有人想试神经网络，就必须在同一个测试集上超过这个数字。这样，关于“什么更时髦”的争论就变成了一次测量。

表格数据并非不能用神经网络。fast.ai 的 Practical Deep Learning 课程专门有一部分讲表格数据，涵盖类别变量、连续变量和混合变量。但应当把神经网络当作第二候选：先有树模型基线，且数据量足够大时，才值得尝试。

## 换成图像和文本，天平就倒向另一边

文档文件夹和邮件存档则是另一回事。IBM 解释说，文本、图像、社交网络图和用户行为本身都不是数值数据，因此需要多得多的特征处理。

用经典机器学习，就得有人琢磨如何把一张发票照片变成数值列，这项工作费力又容易出错。

深度学习直接处理原始数据，能把大部分特征工程自动化。Microsoft Learn 也提到，深度神经网络可用于回归、分类，以及自然语言处理和计算机视觉的专用模型。对扫描文档和投诉邮件，应当从深度学习入手。

## 决策前要问客户的四个问题

数据形式指明方向，但这条路走不走得通，取决于客户的具体情况。IBM 点出了核心权衡：与传统机器学习相比，深度学习更易扩展，但更难解释，而且需要海量数据。Microsoft Learn 补充说，神经网络应在配备 GPU 的机器上训练，因为 GPU 针对矩阵运算做了优化。

| 问客户的问题 | 如果答案倾向于…… | 对选型的意义 |
|---|---|---|
| 数据是什么形式？ | 表格，或图像和文本 | 表格：从树模型开始；图像和文本：从深度学习开始 |
| 有多少带标注的样本？ | 几千到几万 | 倾向树模型，表格数据尤其如此 |
| 谁需要理解模型为何这样判断？ | 信贷、审计、法务 | 树模型更易解释；把这项要求写下来 |
| 有没有 GPU 基础设施？ | 没有，或需要审批预算 | 深度学习会带来额外成本和部署时间 |

以本文中的银行为例，贷款表在四个问题上都指向树模型。图像和邮件值得投入深度学习，但第一周就得问清两件事：带标注的图像够不够？GPU 在哪里？

## 在客户现场落地的五个步骤

第一步：把每个数据源归类为表格、图像、文本或混合类型。第二步：统计真正带标注的样本数，而不是原始行数，因为监督学习需要的是标签。

第三步：问清谁会使用结果，以及他们要向谁解释。第四步：检查基础设施，包括 GPU、数据允许存放的位置，以及可以接受的训练时长。

第五步：先针对数据类型搭建成本最低的基线，再在同一个测试集上尝试更重的方案。把结果写成一页客户能看懂的简短说明。

## 常见错误

更难察觉的错误是忘了问可解释性。一个准确率很高、但信贷团队无法向借款人或审计人员解释的模型，永远走不出演示阶段。

对准备申请 FDE 岗位的人来说，这正是值得写进简历的决策：不只是“用了 XGBoost”，而是“因数据规模中等且有可解释性要求，选择树模型而非神经网络，并在同一测试集上做了对比”。

**要点:** 数据形式决定起点；客户的标注数据、可解释性要求和 GPU，决定能走多远。

下次开会，再有人问“三个都用深度学习吧？”，就有了更简短的回答：表格用树模型，图像和文本用神经网络，再拿一个基线来证明。

**本周动手试试:**

- 找一个几千到几万行的公开表格数据集，分别训练一个梯度提升模型和一个简单的 MLP，在同一测试集上比较。
- 用本文的四个问题，为当前项目写一页“模型选型说明”，就当要发给客户。
- 学完 fast.ai Practical Deep Learning 课程中关于表格数据或图像的一节，体会选型的两面。

## 信源

- [Why do tree-based models still outperform deep learning on tabular data? (Grinsztajn et al.)](https://ar5iv.labs.arxiv.org/html/2207.08815)

- [What is Machine Learning? | IBM](https://www.ibm.com/topics/machine-learning)

- [Types of machine learning model - Training | Microsoft Learn](https://learn.microsoft.com/en-us/training/modules/fundamentals-machine-learning/3-types-of-machine-learning)

- [Deep learning - Training | Microsoft Learn](https://learn.microsoft.com/en-us/training/modules/fundamentals-machine-learning/8-deep-learning)

- [Practical Deep Learning for Coders - Practical Deep Learning](https://course.fast.ai)
