# 客户说“数据都在数仓里”，先别急着信

> 数仓数据为报表而加工，不是为模型准备的：第一周就分清数据湖、数仓和湖仓，别在错误的地基上建管道。

原文: https://fdetimes.net/zh/guides/data-lake-warehouse-lakehouse-ml-pipeline/

每次项目启动会都会有这样一刻。你问数据在哪儿，客户信心十足地回答：“都在数仓里，随便用。”

这句话通常只对了一半。数据确实存在，但可能已经有人为别的用途加工过，还按一个你尚不清楚的周期刷新。它很可能恰好丢掉了模型最需要的信号。

误读数据架构是一种很难察觉的错误，因为不会马上出问题。管道照常运行，模型照样输出数字，可能要过好几周，你才意识到地基打错了。下文介绍如何在第一周就把这块地基看清楚。

## 区别在于数据何时被“塑形”

Microsoft Azure 把数据湖定义为一个集中式存储库，以原始形态摄取并存储大量数据。支撑这一点的机制是读时模式（schema-on-read）：任何类型的数据都以原始形态写入，只有在读取时才赋予结构。

数据仓库正好相反。按照 Azure 的描述，数仓保存的是为特定用途处理和转换过的数据。这个用途通常是报表，而报表的用途很少与模型的用途一致。

湖仓一体（Lakehouse）试图把两者结合起来。Databricks 将湖仓定义为一种开放的数据管理架构，它兼具数据湖的灵活性、成本效益和扩展能力，以及数仓的各项功能，让商业智能（BI）和机器学习可以在同一份数据上运行。

其技术核心是一层元数据，用来记录哪些文件属于哪个版本的表。正是这层元数据让湖仓具备 ACID 事务，以及 schema 强制、schema 演进和数据校验等功能。

**要点:** 该问的不是“数据在哪儿”，而是“schema 在什么时候应用，又是谁决定了这份数据的用途”。

| 维度 | 数据湖 | 数据仓库 | 湖仓一体 |
|---|---|---|---|
| 数据形态 | 原始形态 | 为单一用途转换过 | 由元数据层管理的原始文件 |
| schema 应用时机 | 读取时 | 写入时 | 可在写入时强制，并允许演进 |
| 对机器学习的主要风险 | schema 漂移却无人察觉 | 信号在聚合中丢失 | 功能没开启，却以为数据是干净的 |
| 第一个问题 | 写入时谁来检查数据？ | 这张表服务于哪份报表？ | 是否保留表版本？ |

## 实例：客户流失预测模型

假设你要为一家零售连锁企业构建模型，预测哪些客户即将流失，要求提前 7 天标记出来。客户有一个数仓，里面是给看板用的月度营收汇总表；还有一个数据湖，存放 JSON 格式的 App 事件日志。每天夜里，一个作业把数据从数据湖加载到数仓。

这正是 Databricks 所说的双层架构：需要持续维护，数据也常常不够新鲜。这是一家销售湖仓产品的厂商的观点，但与前线部署工程师（FDE）在客户现场常见的情况相当吻合。

打开数仓表，第一个问题就出现了。表已按月聚合，“本周一次都没打开 App”这样的行为早被压缩掉了。你需要提前 7 天预警，数据粒度却只到月，模型再怎么调优也找不回丢失的信号。

于是你回到数据湖，马上遇到第二个问题：schema 可能已经悄悄漂移。读时模式意味着写入时没有任何机制拦住坏数据，检查的工作现在落到了你身上。第一轮检查用一个简单的 PySpark 查询就够了：

```python
from pyspark.sql import functions as F

df = spark.read.json("s3://lake-cua-khach/app_events/")
(df.groupBy(F.date_trunc("month", "event_time").alias("thang"))
   .agg(F.count("*").alias("so_dong"),
        F.sum(F.col("customer_id").isNull().cast("int")).alias("thieu_customer_id"))
   .orderBy("thang")
   .show(36))
```

（这些别名是越南语：`thang` 表示月份，`so_dong` 表示行数，`thieu_customer_id` 表示缺少 customer_id 的行数。）

如果缺少 customer_id 的行数连续几个月接近零，然后突然飙升，很可能是 App 团队在某次发版时改了字段名。数据湖照常接收数据，看板也照常工作，因为有人悄悄修补了夜间作业。而你的特征却无声无息地变成了空值。

最后一个问题是新鲜度。大批量处理还是实时（流式）处理，是数据工程中最核心的区分之一。如果客户希望在用户打开 App 的那一刻就给出风险评分，夜间作业做不到，你需要在承诺任何里程碑之前弄清楚这一点。

## ETL 还是 ELT，决定你能保留什么

IBM 把数据管道定义为一个从多个来源摄取原始数据、再对其进行转换的系统。先转换还是先加载，决定了原始数据能否保留下来。

采用抽取-转换-加载（ETL），数据在抽取后先转换，再加载到存储中。这适合以数仓为中心的架构，但转换之后原始副本可能就没了。采用抽取-加载-转换（ELT），数据先加载，再在云数仓内部转换，原始副本得以保留，你可以按模型的需要重建特征。

在上面的零售例子中，合理的做法是以 ELT 方式从数据湖拉取训练数据，自己编写特征转换，并作为自己的代码来管理。如果客户已经有湖仓，就用表版本精确重建某一天的训练集，并开启 schema 强制，在写入时就拦住字段改名。

## 第一周要问的五个问题

先问血缘。客户交给你的每一张表，都要问清楚它从哪里来、服务于哪份报表。为财务团队看板构建的表，是按财务的需要聚合和过滤的，不一定符合模型的需要。

接着问 schema 是在写入时检查还是只在读取时检查，以及字段改名时谁会收到通知。然后问刷新周期：夜间批处理、每小时一次还是流式处理，实际延迟与用例需求相比如何。

最后两个问题关乎可复现性和归属。客户是否保留表版本，能否重建历史数据？转换作业归谁负责？知道负责人是谁，作业有变动时你就能提前得知，而不是事后才发现。

## 最常见的错误

最常见的错误是相信表名。一张叫“customer_features”的表，照样可能是一张报表汇总，恰好把你需要的时间维度聚合掉了。

第二个错误是用数仓里转换过的表训练，却用数据湖的原始数据提供线上服务，或者反过来。两条路径经过的转换逻辑不同，模型在生产环境中看到的数据就会与训练时学到的不一样。

第三个错误是一听到“湖仓”就以为数据是干净的。schema 强制和数据校验只是可用的功能，并不意味着每张表都开启了。要去检查配置，而不是相信 PPT。

## 求职时如何展示这项能力

阅读 FDE 岗位的职位描述时，留意 lakehouse、ELT、批处理和流处理等词，它们说明你将在数据的哪一层工作。简历上，一句具体的描述，比如“发现源表按月聚合，改用原始数据，并以天为粒度重建特征”，远比罗列一串工具更有说服力。

三种架构的定义随时都能查到。真正值得练的是条件反射：一听到“都在数仓里”，就立刻知道下一个问题该问什么。

**本周动手试试:**

- 挑一张工作中常用的表，往回追溯：它来自哪个原始数据源，经过 ETL 还是 ELT，最近一次刷新是什么时候。
- 在一个你能读取的原始数据源上，运行查询，按月统计某个关键列的缺失率，记下看起来异常的月份。
- 把关于数据架构的五个问题整理成一页清单，带到下一次项目启动会上。

## 信源

- [What is a Data Lake? Data Lake vs. Warehouse | Microsoft Azure](https://azure.microsoft.com/en-gb/resources/cloud-computing-dictionary/what-is-a-data-lake)

- [What is a Lakehouse? Databricks Blog](https://www.databricks.com/glossary/data-lakehouse)

- [What Is a Data Pipeline? | IBM](https://www.ibm.com/topics/data-pipeline)

- [Data engineering 101: lifecycle, best practices, and emerging trends](https://www.redpanda.com/guides/fundamentals-of-data-engineering)
