别等客户在看板上发现坏数据
假设被打破时数据管道照样全绿,Great Expectations 把这些假设写成每晚运行的检查。
要点速览
- 每个 Expectation 都是一条可验证的数据断言,相当于为数据写的单元测试。
- Checkpoint 是在生产环境运行检查的主要方式。运行结束后,它会执行 Action,例如发送 Slack 消息或更新 Data Docs。
- Airflow provider 提供运行 Checkpoint 的 operator,要求 GX 1.7.0+ 和 Python 3.10+。每晚的调度在 Dag 中设置。
设想这样一个场景:上线一周后,你服务的物流公司打来电话,说看板上昨天的营收掉了一半。数据管道仍是绿色,没有任何任务报错。一路往回追查,才发现源系统开始发送金额列为空的订单。
前线部署工程师(FDE)经常遇到这类事故。客户数据总带着一些没人写下来的假设,一旦假设被打破,代码照样运行,仿佛什么都没发生。Great Expectations 能帮你把这些假设写成自动化检查,赶在客户之前发现问题。
GX Core 到底是什么?
Great Expectations 将 GX Core 描述为 GX 数据质量平台的核心引擎。GX Core 以 Apache 2.0 许可证开源,发布在 PyPI 上,至今仍定期发布新版本。GitHub 仓库把 Expectation 称作“数据的单元测试”,这是记住这个概念最简单的方式。
开源许可证意味着你可以在自己的机器上,用第一周拿到的数据抽样试用 GX。不过,在把它放进客户系统之前,先问清对方关于第三方库的内部规定。
需要掌握的概念,按顺序排列
GX 文档把 Expectation 定义为一条可验证的数据断言。“order_id 列从不为空”和“金额始终大于或等于 0”都是 Expectation。多个 Expectation 组成一个 suite,通常每张客户表对应一个 suite。
根据 GX 文档,Checkpoint 是 GX 在生产环境中验证数据的主要方式。Checkpoint 运行 Validation Definition,并把结果交给一组 Action;每个 Validation Definition 都会让这组 Action 运行一次。因此,告警总是在检查结束之后才发出。
以订单表为例
回到那家物流公司。他们每晚把一张订单表加载进数据仓库。在需求调研会上,客户的数据工程师说了四件事:订单 ID 唯一;每笔订单都有金额;金额从不为负;状态只取几个固定值。
这四句话对应四个 Expectation。下面的代码片段只展示 Checkpoint 部分,适用于 GX 1.x,参照 GX 文档中“Create a Checkpoint with Actions”一页。数据源、Expectation suite 和 Validation Definition 的创建以注释代替,具体请按客户安装的版本查阅文档。
Slack 频道只是示意用的占位符,而且 API 在 1.x 各版本之间有过变动,运行前请对照该页面核对:
import great_expectations as gx
from great_expectations.checkpoint import SlackNotificationAction, UpdateDataDocsAction
# 假设你已经有:
# context:项目的 GX 环境(来自环境配置步骤)
# validation_definitions:订单表的 Validation Definition,
# 使用需求调研会上得出的四个 Expectation:
# 1. order_id 唯一
# 2. amount 不为空
# 3. amount 不为负
# 4. status 属于一组固定取值
# 验证结束后运行的 Action:失败时在 Slack 告警,并更新 Data Docs
actions = [
SlackNotificationAction(
name="slack_on_failure",
slack_token="${SLACK_TOKEN}",
slack_channel="#data-alerts",
notify_on="failure",
),
UpdateDataDocsAction(name="update_docs"),
]
checkpoint = gx.Checkpoint(
name="orders_checkpoint",
validation_definitions=validation_definitions,
actions=actions,
)
context.checkpoints.add(checkpoint)
# 每晚的运行:结果会传给各个 Action
results = checkpoint.run(batch_parameters={"dataframe": orders_df})
第二个 Expectation,即金额不得为空,正是能拦住本文开头那个错误的规则。设置 notify_on=“failure” 后,金额列变空的当晚,团队就会收到 Slack 告警。这段代码没有读取 results 的任何属性。如果需要在代码中处理结果,请先阅读文档中关于结果格式的说明。
这里最有价值的不是哪一行代码,而是每个 Expectation 都把客户的一条假设记录成了可以运行的形式。下次客户问数字为什么不对,你手里有验证结果,能说明是哪条假设被打破了。
在 Airflow 中运行
许多客户已经用 Airflow 编排数据管道。Astronomer 有一份指南,介绍如何用 GX provider 在 Dag 中运行检查。该 provider 提供一个运行 Checkpoint 的 operator,可以触发发送 Slack 消息或邮件等 Action。provider 1.0.0 版本取代了旧的 GreatExpectationsOperator。
每晚的调度由 Dag 负责,而不是 GX。向客户做任何承诺之前,先检查他们的环境:provider 要求 GX 1.7.0+ 和 Python 3.10+。如果客户还在用旧版 Python,升级花的时间可能比写检查还长。
哪些规则暂时不该告警?
GX 只检查你写下的内容。它无从知道,在这家客户公司,一笔有效订单必须带仓库编码。最难的部分依然是客户调研:问足够多的问题,弄清“正确”的数据对他们意味着什么。
反方向的错误同样致命:规则写得过严。假设源系统每新增一种状态,状态规则就变红,而数据本身并没有问题。几周之后,客户团队就习惯了无视告警。等到金额列真的变空的那个晚上,已经没人再看告警了。
GX 为此内置了两个工具。每个 Expectation 都有 severity,取值为 critical、warning 或 info,默认是 critical。
自测一下:上面四条规则中,哪些你暂时不会放进每晚告警?一个合理的答案是:订单 ID 唯一和金额不为空保留 critical,因为客户已确认它们是硬性规则。
状态规则应降为 warning,直到客户敲定取值列表。至于金额不为负的规则,在让它半夜叫醒任何人之前,再问一次退款是否以负数金额记录。
先学什么,简历上写什么
先学 Expectation、Validation Definition、Checkpoint 和 Action 这几个概念,Airflow 留到后面。找工作时,留意岗位描述中提到数据质量或数据验证的 FDE 职位。
简历上不要只写“使用过 Great Expectations”。写清楚你为哪个数据集编写了检查、如何设置 severity,以及这些检查在问题到达客户之前拦住了什么错误。
一套好的 Expectation suite,也是你离开项目时留下的、关于客户数据最诚实的文档。
这篇文章对你有帮助吗?
感谢你的反馈!
8 个信源
- GX Core: Open Source Data Quality Platform | Great Expectations
- GitHub - great-expectations/great_expectations
- great-expectations · PyPI
- GX Core overview | Great Expectations
- Create a Checkpoint with Actions | Great Expectations
- Run a Checkpoint | Great Expectations
- Create an Expectation | Great Expectations
- Orchestrate Great Expectations with Airflow