客户说“数据都在数仓里”,先别急着信
数仓数据为报表而加工,不是为模型准备的:第一周就分清数据湖、数仓和湖仓,别在错误的地基上建管道。
要点速览
- 数仓里的表为单一用途转换过,这个用途通常是报表,所以很少适合直接用来做机器学习特征。
- 数据湖采用读时模式(schema-on-read)保留原始数据。写入时没人检查,读取时就得自己检查。
- ETL 还是 ELT,批处理还是流处理:这些选择决定原始数据能否保留,也决定特征能有多新鲜。
每次项目启动会都会有这样一刻。你问数据在哪儿,客户信心十足地回答:“都在数仓里,随便用。”
这句话通常只对了一半。数据确实存在,但可能已经有人为别的用途加工过,还按一个你尚不清楚的周期刷新。它很可能恰好丢掉了模型最需要的信号。
误读数据架构是一种很难察觉的错误,因为不会马上出问题。管道照常运行,模型照样输出数字,可能要过好几周,你才意识到地基打错了。下文介绍如何在第一周就把这块地基看清楚。
区别在于数据何时被“塑形”
Microsoft Azure 把数据湖定义为一个集中式存储库,以原始形态摄取并存储大量数据。支撑这一点的机制是读时模式(schema-on-read):任何类型的数据都以原始形态写入,只有在读取时才赋予结构。
数据仓库正好相反。按照 Azure 的描述,数仓保存的是为特定用途处理和转换过的数据。这个用途通常是报表,而报表的用途很少与模型的用途一致。
湖仓一体(Lakehouse)试图把两者结合起来。Databricks 将湖仓定义为一种开放的数据管理架构,它兼具数据湖的灵活性、成本效益和扩展能力,以及数仓的各项功能,让商业智能(BI)和机器学习可以在同一份数据上运行。
其技术核心是一层元数据,用来记录哪些文件属于哪个版本的表。正是这层元数据让湖仓具备 ACID 事务,以及 schema 强制、schema 演进和数据校验等功能。
| 维度 | 数据湖 | 数据仓库 | 湖仓一体 |
|---|---|---|---|
| 数据形态 | 原始形态 | 为单一用途转换过 | 由元数据层管理的原始文件 |
| schema 应用时机 | 读取时 | 写入时 | 可在写入时强制,并允许演进 |
| 对机器学习的主要风险 | schema 漂移却无人察觉 | 信号在聚合中丢失 | 功能没开启,却以为数据是干净的 |
| 第一个问题 | 写入时谁来检查数据? | 这张表服务于哪份报表? | 是否保留表版本? |
实例:客户流失预测模型
假设你要为一家零售连锁企业构建模型,预测哪些客户即将流失,要求提前 7 天标记出来。客户有一个数仓,里面是给看板用的月度营收汇总表;还有一个数据湖,存放 JSON 格式的 App 事件日志。每天夜里,一个作业把数据从数据湖加载到数仓。
这正是 Databricks 所说的双层架构:需要持续维护,数据也常常不够新鲜。这是一家销售湖仓产品的厂商的观点,但与前线部署工程师(FDE)在客户现场常见的情况相当吻合。
打开数仓表,第一个问题就出现了。表已按月聚合,“本周一次都没打开 App”这样的行为早被压缩掉了。你需要提前 7 天预警,数据粒度却只到月,模型再怎么调优也找不回丢失的信号。
于是你回到数据湖,马上遇到第二个问题:schema 可能已经悄悄漂移。读时模式意味着写入时没有任何机制拦住坏数据,检查的工作现在落到了你身上。第一轮检查用一个简单的 PySpark 查询就够了:
from pyspark.sql import functions as F
df = spark.read.json("s3://lake-cua-khach/app_events/")
(df.groupBy(F.date_trunc("month", "event_time").alias("thang"))
.agg(F.count("*").alias("so_dong"),
F.sum(F.col("customer_id").isNull().cast("int")).alias("thieu_customer_id"))
.orderBy("thang")
.show(36))
(这些别名是越南语:thang 表示月份,so_dong 表示行数,thieu_customer_id 表示缺少 customer_id 的行数。)
如果缺少 customer_id 的行数连续几个月接近零,然后突然飙升,很可能是 App 团队在某次发版时改了字段名。数据湖照常接收数据,看板也照常工作,因为有人悄悄修补了夜间作业。而你的特征却无声无息地变成了空值。
最后一个问题是新鲜度。大批量处理还是实时(流式)处理,是数据工程中最核心的区分之一。如果客户希望在用户打开 App 的那一刻就给出风险评分,夜间作业做不到,你需要在承诺任何里程碑之前弄清楚这一点。
ETL 还是 ELT,决定你能保留什么
IBM 把数据管道定义为一个从多个来源摄取原始数据、再对其进行转换的系统。先转换还是先加载,决定了原始数据能否保留下来。
采用抽取-转换-加载(ETL),数据在抽取后先转换,再加载到存储中。这适合以数仓为中心的架构,但转换之后原始副本可能就没了。采用抽取-加载-转换(ELT),数据先加载,再在云数仓内部转换,原始副本得以保留,你可以按模型的需要重建特征。
在上面的零售例子中,合理的做法是以 ELT 方式从数据湖拉取训练数据,自己编写特征转换,并作为自己的代码来管理。如果客户已经有湖仓,就用表版本精确重建某一天的训练集,并开启 schema 强制,在写入时就拦住字段改名。
第一周要问的五个问题
先问血缘。客户交给你的每一张表,都要问清楚它从哪里来、服务于哪份报表。为财务团队看板构建的表,是按财务的需要聚合和过滤的,不一定符合模型的需要。
接着问 schema 是在写入时检查还是只在读取时检查,以及字段改名时谁会收到通知。然后问刷新周期:夜间批处理、每小时一次还是流式处理,实际延迟与用例需求相比如何。
最后两个问题关乎可复现性和归属。客户是否保留表版本,能否重建历史数据?转换作业归谁负责?知道负责人是谁,作业有变动时你就能提前得知,而不是事后才发现。
最常见的错误
最常见的错误是相信表名。一张叫“customer_features”的表,照样可能是一张报表汇总,恰好把你需要的时间维度聚合掉了。
第二个错误是用数仓里转换过的表训练,却用数据湖的原始数据提供线上服务,或者反过来。两条路径经过的转换逻辑不同,模型在生产环境中看到的数据就会与训练时学到的不一样。
第三个错误是一听到“湖仓”就以为数据是干净的。schema 强制和数据校验只是可用的功能,并不意味着每张表都开启了。要去检查配置,而不是相信 PPT。
求职时如何展示这项能力
阅读 FDE 岗位的职位描述时,留意 lakehouse、ELT、批处理和流处理等词,它们说明你将在数据的哪一层工作。简历上,一句具体的描述,比如“发现源表按月聚合,改用原始数据,并以天为粒度重建特征”,远比罗列一串工具更有说服力。
三种架构的定义随时都能查到。真正值得练的是条件反射:一听到“都在数仓里”,就立刻知道下一个问题该问什么。
这篇文章对你有帮助吗?
感谢你的反馈!