FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户说“数据都在数仓里”,先别急着信

数仓数据为报表而加工,不是为模型准备的:第一周就分清数据湖、数仓和湖仓,别在错误的地基上建管道。

分享微博

要点速览

  • 数仓里的表为单一用途转换过,这个用途通常是报表,所以很少适合直接用来做机器学习特征。
  • 数据湖采用读时模式(schema-on-read)保留原始数据。写入时没人检查,读取时就得自己检查。
  • ETL 还是 ELT,批处理还是流处理:这些选择决定原始数据能否保留,也决定特征能有多新鲜。
三条泳道的示意图,对比数据湖、数据仓库和湖仓一体。每条泳道都是一条数据流,从原始数据源经过写入时刻、读取时刻,最终进入模型。数据湖只在读取时应用 schema,风险是 schema 漂移无人察觉;高亮显示的数据仓库泳道在写入时应用 schema,并按月聚合数据,风险是信号丢失;湖仓可在写入时强制 schema,由元数据层管理 ACID 事务和表版本,风险是功能没开启却以为数据干净。每条泳道都附有一个应向客户提出的问题。
三种架构的区别在于数据何时被塑形。对机器学习而言,数仓最危险,因为聚合中丢失的信号无法找回。

每次项目启动会都会有这样一刻。你问数据在哪儿,客户信心十足地回答:“都在数仓里,随便用。”

这句话通常只对了一半。数据确实存在,但可能已经有人为别的用途加工过,还按一个你尚不清楚的周期刷新。它很可能恰好丢掉了模型最需要的信号。

误读数据架构是一种很难察觉的错误,因为不会马上出问题。管道照常运行,模型照样输出数字,可能要过好几周,你才意识到地基打错了。下文介绍如何在第一周就把这块地基看清楚。

区别在于数据何时被“塑形”

Microsoft Azure 把数据湖定义为一个集中式存储库,以原始形态摄取并存储大量数据。支撑这一点的机制是读时模式(schema-on-read):任何类型的数据都以原始形态写入,只有在读取时才赋予结构。

数据仓库正好相反。按照 Azure 的描述,数仓保存的是为特定用途处理和转换过的数据。这个用途通常是报表,而报表的用途很少与模型的用途一致。

湖仓一体(Lakehouse)试图把两者结合起来。Databricks 将湖仓定义为一种开放的数据管理架构,它兼具数据湖的灵活性、成本效益和扩展能力,以及数仓的各项功能,让商业智能(BI)和机器学习可以在同一份数据上运行。

其技术核心是一层元数据,用来记录哪些文件属于哪个版本的表。正是这层元数据让湖仓具备 ACID 事务,以及 schema 强制、schema 演进和数据校验等功能。

维度 数据湖 数据仓库 湖仓一体
数据形态 原始形态 为单一用途转换过 由元数据层管理的原始文件
schema 应用时机 读取时 写入时 可在写入时强制,并允许演进
对机器学习的主要风险 schema 漂移却无人察觉 信号在聚合中丢失 功能没开启,却以为数据是干净的
第一个问题 写入时谁来检查数据? 这张表服务于哪份报表? 是否保留表版本?

实例:客户流失预测模型

假设你要为一家零售连锁企业构建模型,预测哪些客户即将流失,要求提前 7 天标记出来。客户有一个数仓,里面是给看板用的月度营收汇总表;还有一个数据湖,存放 JSON 格式的 App 事件日志。每天夜里,一个作业把数据从数据湖加载到数仓。

这正是 Databricks 所说的双层架构:需要持续维护,数据也常常不够新鲜。这是一家销售湖仓产品的厂商的观点,但与前线部署工程师(FDE)在客户现场常见的情况相当吻合。

打开数仓表,第一个问题就出现了。表已按月聚合,“本周一次都没打开 App”这样的行为早被压缩掉了。你需要提前 7 天预警,数据粒度却只到月,模型再怎么调优也找不回丢失的信号。

于是你回到数据湖,马上遇到第二个问题:schema 可能已经悄悄漂移。读时模式意味着写入时没有任何机制拦住坏数据,检查的工作现在落到了你身上。第一轮检查用一个简单的 PySpark 查询就够了:

from pyspark.sql import functions as F

df = spark.read.json("s3://lake-cua-khach/app_events/")
(df.groupBy(F.date_trunc("month", "event_time").alias("thang"))
   .agg(F.count("*").alias("so_dong"),
        F.sum(F.col("customer_id").isNull().cast("int")).alias("thieu_customer_id"))
   .orderBy("thang")
   .show(36))

(这些别名是越南语:thang 表示月份,so_dong 表示行数,thieu_customer_id 表示缺少 customer_id 的行数。)

如果缺少 customer_id 的行数连续几个月接近零,然后突然飙升,很可能是 App 团队在某次发版时改了字段名。数据湖照常接收数据,看板也照常工作,因为有人悄悄修补了夜间作业。而你的特征却无声无息地变成了空值。

最后一个问题是新鲜度。大批量处理还是实时(流式)处理,是数据工程中最核心的区分之一。如果客户希望在用户打开 App 的那一刻就给出风险评分,夜间作业做不到,你需要在承诺任何里程碑之前弄清楚这一点。

ETL 还是 ELT,决定你能保留什么

IBM 把数据管道定义为一个从多个来源摄取原始数据、再对其进行转换的系统。先转换还是先加载,决定了原始数据能否保留下来。

采用抽取-转换-加载(ETL),数据在抽取后先转换,再加载到存储中。这适合以数仓为中心的架构,但转换之后原始副本可能就没了。采用抽取-加载-转换(ELT),数据先加载,再在云数仓内部转换,原始副本得以保留,你可以按模型的需要重建特征。

在上面的零售例子中,合理的做法是以 ELT 方式从数据湖拉取训练数据,自己编写特征转换,并作为自己的代码来管理。如果客户已经有湖仓,就用表版本精确重建某一天的训练集,并开启 schema 强制,在写入时就拦住字段改名。

第一周要问的五个问题

先问血缘。客户交给你的每一张表,都要问清楚它从哪里来、服务于哪份报表。为财务团队看板构建的表,是按财务的需要聚合和过滤的,不一定符合模型的需要。

接着问 schema 是在写入时检查还是只在读取时检查,以及字段改名时谁会收到通知。然后问刷新周期:夜间批处理、每小时一次还是流式处理,实际延迟与用例需求相比如何。

最后两个问题关乎可复现性和归属。客户是否保留表版本,能否重建历史数据?转换作业归谁负责?知道负责人是谁,作业有变动时你就能提前得知,而不是事后才发现。

最常见的错误

最常见的错误是相信表名。一张叫“customer_features”的表,照样可能是一张报表汇总,恰好把你需要的时间维度聚合掉了。

第二个错误是用数仓里转换过的表训练,却用数据湖的原始数据提供线上服务,或者反过来。两条路径经过的转换逻辑不同,模型在生产环境中看到的数据就会与训练时学到的不一样。

第三个错误是一听到“湖仓”就以为数据是干净的。schema 强制和数据校验只是可用的功能,并不意味着每张表都开启了。要去检查配置,而不是相信 PPT。

求职时如何展示这项能力

阅读 FDE 岗位的职位描述时,留意 lakehouse、ELT、批处理和流处理等词,它们说明你将在数据的哪一层工作。简历上,一句具体的描述,比如“发现源表按月聚合,改用原始数据,并以天为粒度重建特征”,远比罗列一串工具更有说服力。

三种架构的定义随时都能查到。真正值得练的是条件反射:一听到“都在数仓里”,就立刻知道下一个问题该问什么。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力到客户现场第一天,如何读懂陌生的 Apache NiFi 数据流先看懂三个基本构件,再找到那个满了的队列,查清每条记录的历史,第一次 NiFi 故障就能应付过去。