# Debezium 直接读客户的事务日志，不必再反复扫表

> 代价是复制槽可能悄悄占满客户生产环境的磁盘，快照和水位线也必须处理得当。

原文: https://fdetimes.net/zh/guides/cdc-debezium-capture-database-changes/

客户希望自己的 Agent 能根据最新的订单状态作答。大家最先想到的快速方案是写个定时任务，每晚跑一次 `SELECT * FROM orders`，再和上一份副本比对。

第一周一切顺利。后来表越来越大，客户的 DBA 来问为什么数据库每晚凌晨 2 点负载飙高，你这才发现，自己从来没捕获到过一条被删除的行。

这是前线部署工程师（FDE）熟悉的处境：需要从一个不归你管的系统拿到实时数据，不能改客户的应用代码，也不能拖慢生产数据库。变更数据捕获（CDC）正是为这个问题而生，Debezium 则是专门做这件事的开源工具。

把 CDC 真正弄懂，你就能以同行身份和客户的 DBA 对话，而不是成为对方需要提防的风险。下文讲解 Debezium 的工作原理，给出具体的配置示例，并列出需要在酿成事故之前堵住的运维陷阱。

## 不查表，读日志

Debezium 的自我介绍是一个用于变更数据捕获的开源分布式平台。它让应用能够响应每一次插入、更新和删除，而无需改动写入数据的那个应用。对客户来说，这一点最有价值：谁都不用去动正在运行的系统。

关键在于 Debezium 不查询数据表。PostgreSQL 连接器借助 Postgres 自带的流复制协议，通过逻辑解码从事务日志中读取已提交的变更。对于 MySQL，连接器读取 binlog 并输出行级事件。被删除的行同样会变成一个事件，而这恰恰是靠比对表数据的定时任务永远看不到的。

有一个细节能让和 DBA 的沟通顺畅得多：`pgoutput` 插件随 PostgreSQL 10 及以上版本自带，不需要请对方在客户服务器上额外安装任何库。在很多企业里，生产环境每多装一个包就要多走一轮审批，省掉这一轮可能就省下一周。

## 既然读日志，为什么还要快照？

这个问题几乎一定会被问到。答案是：日志并不是完整历史。Debezium 文档明确指出，大多数 Postgres 服务器不会在 WAL 中保留数据库的完整历史，因为 WAL 过一段时间就会被清理。MySQL 通常也会配置为在一定期限后清除 binlog。

Netflix 的 DBLog 论文描述了同样的问题：事务日志通常不包含完整的变更历史，因此只捕获日志无法同步整个数据库。正因如此，Postgres 连接器首次连接时会先对 schema 做一次一致性快照，然后才切换为从该位置起读取日志。

旧的快照模式在大表上有两个弱点：快照完成前流式读取一直被阻塞；快照中途中断后无法续传。Debezium 的增量快照解决了这个问题：表按块读取，流式读取同时继续运行，触发方式是向一张专用的信号表写入一条信号。

为了让分块读取的数据与同时发生的变更保持一致，Debezium 借鉴了 DBLog 的水位线思路：在每个数据块读取前后，向事务日志中插入低水位线和高水位线。

根据 DBLog 论文，这种方法不加表锁，对源数据库的影响非常小。DBA 问快照会不会把系统卡住时，就可以这样回答。

## 示例：一家配送公司的订单表

设想客户是一家配送公司，运行 Postgres 15，你的 Agent 需要跟踪其中的 `public.orders` 表。你请 DBA 创建一个具备复制权限、并对待跟踪表有读权限的用户，然后创建信号表。

信号表是向 Debezium 下达命令的渠道：要对某张表重新快照，只需往里插入一条 INSERT。所以从一开始就要和 DBA 约定好谁有权向这张表写信号，别等到需要回填数据那天才去申请权限。连接器配置只需几行：

```json
{
  "name": "orders-cdc",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "db.customer.internal",
    "database.port": "5432",
    "database.user": "cdc_user",
    "database.dbname": "logistics",
    "topic.prefix": "customer_a",
    "plugin.name": "pgoutput",
    "table.include.list": "public.orders,public.debezium_signal",
    "signal.data.collection": "public.debezium_signal"
  }
}
```

连接器启动后，先对 `orders` 做快照，再切换为读取 WAL。一笔订单从“配送中”变为“已送达”，就成为一个更新事件；一笔订单被取消并删除，就成为一个删除事件。你的系统只收到发生变化的行，而不是整张表。

三个月后，客户新增了一列，你需要对 `orders` 重新快照来回填旧数据。不必停掉数据管道，写一条信号即可：

```sql
INSERT INTO public.debezium_signal (id, type, data)
VALUES ('resnap-orders-1', 'execute-snapshot',
        '{"data-collections": ["public.orders"]}');
```

Debezium 分块读取这张表，流式读取并行运行，水位线负责数据对齐。客户的 Agent 一分钟的新数据都不会漏掉。

## 陷阱在复制槽

Gunnar Morling 专门写过一篇文章讨论这个风险，讲得很清楚：连接器停止后，复制槽依然存在，只是处于非活动状态，而 Postgres 会保留从该槽停止位置起的所有 WAL 段。磁盘占用持续增长，直到客户的数据库空间耗尽。

你可能因为试用期结束而关掉了连接器，但复制槽还留在客户的服务器上。Morling 建议在某个槽保留的 WAL 超过 100 MB 时告警，同时监控磁盘剩余空间。检查用的查询很短：

```sql
SELECT slot_name, active,
       pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) AS wal_retained
FROM pg_replication_slots;
```

MySQL 的风险恰好相反：如果连接器停得太久，它所在位置的 binlog 已被清除，连接器就无法续传，只能重新快照。

MySQL 连接器还会记录每条 DDL 语句及其 binlog 位置，以便重建任意时间点的表结构，因此这份 schema 历史必须持久化存储，不能放在临时位置。

**要点:** 你在客户数据库上创建的每一个复制槽都是一笔负债，必须有人盯着。

## 应该按什么顺序搭建？

先和 DBA 做客户调研：用的是哪个版本的 Postgres 或 MySQL，WAL 或 binlog 保留多久，谁能创建复制用户，磁盘写满时谁在值班。最后一个问题的答案决定告警发给谁。

接着，约定一份具体的表清单，而不是把整个数据库都拿过来；创建信号表并确定谁可以向其写信号；然后在 staging 环境用接近生产环境的数据量试运行。

只有在复制槽告警已经运行、并且通过故意停掉连接器验证过之后，才能切到生产环境。最后，写一份交接运维手册，其中要写明项目结束时如何删除复制槽。

## 最常见的错误有哪些？

最常见的错误是把复制槽当成自己的资源，拆除测试环境时把它忘了。几乎同样常见的是，以为日志保留的历史足够，跳过快照，然后纳闷为什么较早的订单不见了。也有不少人在大表上用旧式快照，让流式读取一直阻塞到快照完成。

还有一个错误出在沟通上：没有事先告诉 DBA，连接器一停 WAL 就会堆积。等对方凌晨 3 点自己发现时，整个项目的信任就很难再挽回了。

## 这项技能怎么体现在简历上？

阅读 FDE 或数据工程师岗位的职位描述时，留意 CDC、Debezium、Kafka Connect 和逻辑复制等关键词。简历上别只写“用过 Debezium”，而要写你设计过带增量快照和按槽 WAL 告警的 CDC 数据管道，这说明你真正在生产中跑过。

好的 CDC 数据管道，客户几乎会忘了它在运行。你的工作是确保他们记住的只有一件事：数据始终是新的，而不是那块被写满的磁盘。

**本周动手试试:**

- 用 Docker 在本地运行 Postgres，开启逻辑复制，在一张示例订单表上运行使用 pgoutput 的 Debezium 连接器，查看插入、更新和删除产生的事件。
- 停掉连接器一小时，同时继续写入数据，运行 pg_replication_slots 查询观察保留的 WAL 如何增长，然后写一条阈值为 100 MB 的告警。
- 创建一张 debezium_signal 表，为其中一张表发送 execute-snapshot 信号，确认快照运行期间流式读取没有中断。

## 信源

- [Debezium](https://debezium.io/)

- [Debezium connector for PostgreSQL](https://debezium.io/documentation/reference/stable/connectors/postgresql.html)

- [Debezium connector for MySQL](https://debezium.io/documentation/reference/stable/connectors/mysql.html)

- [Incremental Snapshots in Debezium](https://debezium.io/blog/2021/10/07/incremental-snapshots)

- [DBLog: A Watermark Based Change-Data-Capture Framework](https://ar5iv.labs.arxiv.org/html/2010.12597)

- [The Insatiable Postgres Replication Slot](https://morling.dev/blog/insatiable-postgres-replication-slot)
