# 别等客户在看板上发现坏数据

> 假设被打破时数据管道照样全绿，Great Expectations 把这些假设写成每晚运行的检查。

原文: https://fdetimes.net/zh/tools/great-expectations-nightly-data-checks/

设想这样一个场景：上线一周后，你服务的物流公司打来电话，说看板上昨天的营收掉了一半。数据管道仍是绿色，没有任何任务报错。一路往回追查，才发现源系统开始发送金额列为空的订单。

前线部署工程师（FDE）经常遇到这类事故。客户数据总带着一些没人写下来的假设，一旦假设被打破，代码照样运行，仿佛什么都没发生。Great Expectations 能帮你把这些假设写成自动化检查，赶在客户之前发现问题。

## GX Core 到底是什么？

Great Expectations 将 GX Core 描述为 GX 数据质量平台的核心引擎。GX Core 以 Apache 2.0 许可证开源，发布在 PyPI 上，至今仍定期发布新版本。GitHub 仓库把 Expectation 称作“数据的单元测试”，这是记住这个概念最简单的方式。

开源许可证意味着你可以在自己的机器上，用第一周拿到的数据抽样试用 GX。不过，在把它放进客户系统之前，先问清对方关于第三方库的内部规定。

## 需要掌握的概念，按顺序排列

GX 文档把 Expectation 定义为一条可验证的数据断言。“order_id 列从不为空”和“金额始终大于或等于 0”都是 Expectation。多个 Expectation 组成一个 suite，通常每张客户表对应一个 suite。

根据 GX 文档，Checkpoint 是 GX 在生产环境中验证数据的主要方式。Checkpoint 运行 Validation Definition，并把结果交给一组 Action；每个 Validation Definition 都会让这组 Action 运行一次。因此，告警总是在检查结束之后才发出。

**要点:** 数据管道是绿色，不代表数据是对的。在客户自己发现问题之前，把假设变成检查。

## 以订单表为例

回到那家物流公司。他们每晚把一张订单表加载进数据仓库。在需求调研会上，客户的数据工程师说了四件事：订单 ID 唯一；每笔订单都有金额；金额从不为负；状态只取几个固定值。

这四句话对应四个 Expectation。下面的代码片段只展示 Checkpoint 部分，适用于 GX 1.x，参照 GX 文档中“Create a Checkpoint with Actions”一页。数据源、Expectation suite 和 Validation Definition 的创建以注释代替，具体请按客户安装的版本查阅文档。

Slack 频道只是示意用的占位符，而且 API 在 1.x 各版本之间有过变动，运行前请对照该页面核对：

```python
import great_expectations as gx
from great_expectations.checkpoint import SlackNotificationAction, UpdateDataDocsAction

# 假设你已经有：
#   context：项目的 GX 环境（来自环境配置步骤）
#   validation_definitions：订单表的 Validation Definition，
#   使用需求调研会上得出的四个 Expectation：
#     1. order_id 唯一
#     2. amount 不为空
#     3. amount 不为负
#     4. status 属于一组固定取值

# 验证结束后运行的 Action：失败时在 Slack 告警，并更新 Data Docs
actions = [
    SlackNotificationAction(
        name="slack_on_failure",
        slack_token="${SLACK_TOKEN}",
        slack_channel="#data-alerts",
        notify_on="failure",
    ),
    UpdateDataDocsAction(name="update_docs"),
]

checkpoint = gx.Checkpoint(
    name="orders_checkpoint",
    validation_definitions=validation_definitions,
    actions=actions,
)
context.checkpoints.add(checkpoint)

# 每晚的运行：结果会传给各个 Action
results = checkpoint.run(batch_parameters={"dataframe": orders_df})
```

第二个 Expectation，即金额不得为空，正是能拦住本文开头那个错误的规则。设置 notify_on="failure" 后，金额列变空的当晚，团队就会收到 Slack 告警。这段代码没有读取 `results` 的任何属性。如果需要在代码中处理结果，请先阅读文档中关于结果格式的说明。

这里最有价值的不是哪一行代码，而是每个 Expectation 都把客户的一条假设记录成了可以运行的形式。下次客户问数字为什么不对，你手里有验证结果，能说明是哪条假设被打破了。

## 在 Airflow 中运行

许多客户已经用 Airflow 编排数据管道。Astronomer 有一份指南，介绍如何用 GX provider 在 Dag 中运行检查。该 provider 提供一个运行 Checkpoint 的 operator，可以触发发送 Slack 消息或邮件等 Action。provider 1.0.0 版本取代了旧的 GreatExpectationsOperator。

每晚的调度由 Dag 负责，而不是 GX。向客户做任何承诺之前，先检查他们的环境：provider 要求 GX 1.7.0+ 和 Python 3.10+。如果客户还在用旧版 Python，升级花的时间可能比写检查还长。

## 哪些规则暂时不该告警？

GX 只检查你写下的内容。它无从知道，在这家客户公司，一笔有效订单必须带仓库编码。最难的部分依然是客户调研：问足够多的问题，弄清“正确”的数据对他们意味着什么。

反方向的错误同样致命：规则写得过严。假设源系统每新增一种状态，状态规则就变红，而数据本身并没有问题。几周之后，客户团队就习惯了无视告警。等到金额列真的变空的那个晚上，已经没人再看告警了。

GX 为此内置了两个工具。每个 Expectation 都有 severity，取值为 critical、warning 或 info，默认是 critical。

自测一下：上面四条规则中，哪些你暂时不会放进每晚告警？一个合理的答案是：订单 ID 唯一和金额不为空保留 critical，因为客户已确认它们是硬性规则。

状态规则应降为 warning，直到客户敲定取值列表。至于金额不为负的规则，在让它半夜叫醒任何人之前，再问一次退款是否以负数金额记录。

## 先学什么，简历上写什么

先学 Expectation、Validation Definition、Checkpoint 和 Action 这几个概念，Airflow 留到后面。找工作时，留意岗位描述中提到数据质量或数据验证的 FDE 职位。

简历上不要只写“使用过 Great Expectations”。写清楚你为哪个数据集编写了检查、如何设置 severity，以及这些检查在问题到达客户之前拦住了什么错误。

一套好的 Expectation suite，也是你离开项目时留下的、关于客户数据最诚实的文档。

**本周动手试试:**

- 挑一张你正在处理的表，写下三条没人检查过的假设，再把每一条变成 GX Core 中的一个 Expectation。
- 在承诺把 GX 放进 Dag 之前，对照 Python 3.10+ 和 GX 1.7.0+ 的最低要求，检查客户环境中的 Python 和 GX 版本。
- 对每条规则问一句：如果今晚这条规则变红，需要有人起床处理吗？答案是否定的，就把 severity 降为 warning。

## 信源

- [GX Core: Open Source Data Quality Platform | Great Expectations](https://greatexpectations.io/)

- [GitHub - great-expectations/great_expectations](https://github.com/great-expectations/great_expectations)

- [great-expectations · PyPI](https://pypi.org/project/great-expectations/)

- [GX Core overview | Great Expectations](https://docs.greatexpectations.io/docs/core/introduction/gx_overview)

- [Create a Checkpoint with Actions | Great Expectations](https://docs.greatexpectations.io/docs/core/trigger_actions_based_on_results/create_a_checkpoint_with_actions)

- [Run a Checkpoint | Great Expectations](https://docs.greatexpectations.io/docs/core/trigger_actions_based_on_results/run_a_checkpoint)

- [Create an Expectation | Great Expectations](https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation)

- [Orchestrate Great Expectations with Airflow](https://astronomer.io/docs/learn/airflow-great-expectations)
