FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

别等客户在看板上发现坏数据

假设被打破时数据管道照样全绿,Great Expectations 把这些假设写成每晚运行的检查。

分享微博

要点速览

  • 每个 Expectation 都是一条可验证的数据断言,相当于为数据写的单元测试。
  • Checkpoint 是在生产环境运行检查的主要方式。运行结束后,它会执行 Action,例如发送 Slack 消息或更新 Data Docs。
  • Airflow provider 提供运行 Checkpoint 的 operator,要求 GX 1.7.0+ 和 Python 3.10+。每晚的调度在 Dag 中设置。
决策树。根问题:检查失败是否意味着数据有错?若“是”:severity 为 critical,例如“amount 不为空”规则,处理方式是呼叫值班工程师(橙色框高亮)。若“不确定”:需要确认,例如“amount 不为负”规则,处理方式是询问客户。若“否”:severity 为 warning,例如“status 取值有效”规则,处理方式是第二天早上复查。
只有客户确认为硬性规则的,才应设为 critical。尚未敲定的规则,应先降为 warning 或向客户确认,再决定是否让它半夜叫醒人。GX Core 的 severity 分三级:critical、warning 和 info,默认是 critical。

设想这样一个场景:上线一周后,你服务的物流公司打来电话,说看板上昨天的营收掉了一半。数据管道仍是绿色,没有任何任务报错。一路往回追查,才发现源系统开始发送金额列为空的订单。

前线部署工程师(FDE)经常遇到这类事故。客户数据总带着一些没人写下来的假设,一旦假设被打破,代码照样运行,仿佛什么都没发生。Great Expectations 能帮你把这些假设写成自动化检查,赶在客户之前发现问题。

GX Core 到底是什么?

Great Expectations 将 GX Core 描述为 GX 数据质量平台的核心引擎。GX Core 以 Apache 2.0 许可证开源,发布在 PyPI 上,至今仍定期发布新版本。GitHub 仓库把 Expectation 称作“数据的单元测试”,这是记住这个概念最简单的方式。

开源许可证意味着你可以在自己的机器上,用第一周拿到的数据抽样试用 GX。不过,在把它放进客户系统之前,先问清对方关于第三方库的内部规定。

需要掌握的概念,按顺序排列

GX 文档把 Expectation 定义为一条可验证的数据断言。“order_id 列从不为空”和“金额始终大于或等于 0”都是 Expectation。多个 Expectation 组成一个 suite,通常每张客户表对应一个 suite。

根据 GX 文档,Checkpoint 是 GX 在生产环境中验证数据的主要方式。Checkpoint 运行 Validation Definition,并把结果交给一组 Action;每个 Validation Definition 都会让这组 Action 运行一次。因此,告警总是在检查结束之后才发出。

以订单表为例

回到那家物流公司。他们每晚把一张订单表加载进数据仓库。在需求调研会上,客户的数据工程师说了四件事:订单 ID 唯一;每笔订单都有金额;金额从不为负;状态只取几个固定值。

这四句话对应四个 Expectation。下面的代码片段只展示 Checkpoint 部分,适用于 GX 1.x,参照 GX 文档中“Create a Checkpoint with Actions”一页。数据源、Expectation suite 和 Validation Definition 的创建以注释代替,具体请按客户安装的版本查阅文档。

Slack 频道只是示意用的占位符,而且 API 在 1.x 各版本之间有过变动,运行前请对照该页面核对:

import great_expectations as gx
from great_expectations.checkpoint import SlackNotificationAction, UpdateDataDocsAction

# 假设你已经有:
#   context:项目的 GX 环境(来自环境配置步骤)
#   validation_definitions:订单表的 Validation Definition,
#   使用需求调研会上得出的四个 Expectation:
#     1. order_id 唯一
#     2. amount 不为空
#     3. amount 不为负
#     4. status 属于一组固定取值

# 验证结束后运行的 Action:失败时在 Slack 告警,并更新 Data Docs
actions = [
    SlackNotificationAction(
        name="slack_on_failure",
        slack_token="${SLACK_TOKEN}",
        slack_channel="#data-alerts",
        notify_on="failure",
    ),
    UpdateDataDocsAction(name="update_docs"),
]

checkpoint = gx.Checkpoint(
    name="orders_checkpoint",
    validation_definitions=validation_definitions,
    actions=actions,
)
context.checkpoints.add(checkpoint)

# 每晚的运行:结果会传给各个 Action
results = checkpoint.run(batch_parameters={"dataframe": orders_df})

第二个 Expectation,即金额不得为空,正是能拦住本文开头那个错误的规则。设置 notify_on=“failure” 后,金额列变空的当晚,团队就会收到 Slack 告警。这段代码没有读取 results 的任何属性。如果需要在代码中处理结果,请先阅读文档中关于结果格式的说明。

这里最有价值的不是哪一行代码,而是每个 Expectation 都把客户的一条假设记录成了可以运行的形式。下次客户问数字为什么不对,你手里有验证结果,能说明是哪条假设被打破了。

在 Airflow 中运行

许多客户已经用 Airflow 编排数据管道。Astronomer 有一份指南,介绍如何用 GX provider 在 Dag 中运行检查。该 provider 提供一个运行 Checkpoint 的 operator,可以触发发送 Slack 消息或邮件等 Action。provider 1.0.0 版本取代了旧的 GreatExpectationsOperator。

每晚的调度由 Dag 负责,而不是 GX。向客户做任何承诺之前,先检查他们的环境:provider 要求 GX 1.7.0+ 和 Python 3.10+。如果客户还在用旧版 Python,升级花的时间可能比写检查还长。

哪些规则暂时不该告警?

GX 只检查你写下的内容。它无从知道,在这家客户公司,一笔有效订单必须带仓库编码。最难的部分依然是客户调研:问足够多的问题,弄清“正确”的数据对他们意味着什么。

反方向的错误同样致命:规则写得过严。假设源系统每新增一种状态,状态规则就变红,而数据本身并没有问题。几周之后,客户团队就习惯了无视告警。等到金额列真的变空的那个晚上,已经没人再看告警了。

GX 为此内置了两个工具。每个 Expectation 都有 severity,取值为 critical、warning 或 info,默认是 critical。

自测一下:上面四条规则中,哪些你暂时不会放进每晚告警?一个合理的答案是:订单 ID 唯一和金额不为空保留 critical,因为客户已确认它们是硬性规则。

状态规则应降为 warning,直到客户敲定取值列表。至于金额不为负的规则,在让它半夜叫醒任何人之前,再问一次退款是否以负数金额记录。

先学什么,简历上写什么

先学 Expectation、Validation Definition、Checkpoint 和 Action 这几个概念,Airflow 留到后面。找工作时,留意岗位描述中提到数据质量或数据验证的 FDE 职位。

简历上不要只写“使用过 Great Expectations”。写清楚你为哪个数据集编写了检查、如何设置 severity,以及这些检查在问题到达客户之前拦住了什么错误。

一套好的 Expectation suite,也是你离开项目时留下的、关于客户数据最诚实的文档。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力Firecrawl 替 Agent 抓客户文档,范围仍要你来定它能渲染 JavaScript、转换 PDF;路径正则、limit 和 maxAge 决定抓什么、花多少、数据多新。