Debezium 直接读客户的事务日志,不必再反复扫表
代价是复制槽可能悄悄占满客户生产环境的磁盘,快照和水位线也必须处理得当。
要点速览
- Debezium 从事务日志(Postgres 的预写日志 WAL、MySQL 的 binlog)读取变更,不查询数据表,因此连删除也能捕获,客户的应用无需改动。
- 日志不保留完整历史,所以首次运行总要做一次快照;增量快照分块读取,流式读取同时照常进行。
- 最大的运维风险是被遗忘的复制槽一直保留 WAL,直到磁盘写满,所以告警必须从第一天就到位。
客户希望自己的 Agent 能根据最新的订单状态作答。大家最先想到的快速方案是写个定时任务,每晚跑一次 SELECT * FROM orders,再和上一份副本比对。
第一周一切顺利。后来表越来越大,客户的 DBA 来问为什么数据库每晚凌晨 2 点负载飙高,你这才发现,自己从来没捕获到过一条被删除的行。
这是前线部署工程师(FDE)熟悉的处境:需要从一个不归你管的系统拿到实时数据,不能改客户的应用代码,也不能拖慢生产数据库。变更数据捕获(CDC)正是为这个问题而生,Debezium 则是专门做这件事的开源工具。
把 CDC 真正弄懂,你就能以同行身份和客户的 DBA 对话,而不是成为对方需要提防的风险。下文讲解 Debezium 的工作原理,给出具体的配置示例,并列出需要在酿成事故之前堵住的运维陷阱。
不查表,读日志
Debezium 的自我介绍是一个用于变更数据捕获的开源分布式平台。它让应用能够响应每一次插入、更新和删除,而无需改动写入数据的那个应用。对客户来说,这一点最有价值:谁都不用去动正在运行的系统。
关键在于 Debezium 不查询数据表。PostgreSQL 连接器借助 Postgres 自带的流复制协议,通过逻辑解码从事务日志中读取已提交的变更。对于 MySQL,连接器读取 binlog 并输出行级事件。被删除的行同样会变成一个事件,而这恰恰是靠比对表数据的定时任务永远看不到的。
有一个细节能让和 DBA 的沟通顺畅得多:pgoutput 插件随 PostgreSQL 10 及以上版本自带,不需要请对方在客户服务器上额外安装任何库。在很多企业里,生产环境每多装一个包就要多走一轮审批,省掉这一轮可能就省下一周。
既然读日志,为什么还要快照?
这个问题几乎一定会被问到。答案是:日志并不是完整历史。Debezium 文档明确指出,大多数 Postgres 服务器不会在 WAL 中保留数据库的完整历史,因为 WAL 过一段时间就会被清理。MySQL 通常也会配置为在一定期限后清除 binlog。
Netflix 的 DBLog 论文描述了同样的问题:事务日志通常不包含完整的变更历史,因此只捕获日志无法同步整个数据库。正因如此,Postgres 连接器首次连接时会先对 schema 做一次一致性快照,然后才切换为从该位置起读取日志。
旧的快照模式在大表上有两个弱点:快照完成前流式读取一直被阻塞;快照中途中断后无法续传。Debezium 的增量快照解决了这个问题:表按块读取,流式读取同时继续运行,触发方式是向一张专用的信号表写入一条信号。
为了让分块读取的数据与同时发生的变更保持一致,Debezium 借鉴了 DBLog 的水位线思路:在每个数据块读取前后,向事务日志中插入低水位线和高水位线。
根据 DBLog 论文,这种方法不加表锁,对源数据库的影响非常小。DBA 问快照会不会把系统卡住时,就可以这样回答。
示例:一家配送公司的订单表
设想客户是一家配送公司,运行 Postgres 15,你的 Agent 需要跟踪其中的 public.orders 表。你请 DBA 创建一个具备复制权限、并对待跟踪表有读权限的用户,然后创建信号表。
信号表是向 Debezium 下达命令的渠道:要对某张表重新快照,只需往里插入一条 INSERT。所以从一开始就要和 DBA 约定好谁有权向这张表写信号,别等到需要回填数据那天才去申请权限。连接器配置只需几行:
{
"name": "orders-cdc",
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.hostname": "db.customer.internal",
"database.port": "5432",
"database.user": "cdc_user",
"database.dbname": "logistics",
"topic.prefix": "customer_a",
"plugin.name": "pgoutput",
"table.include.list": "public.orders,public.debezium_signal",
"signal.data.collection": "public.debezium_signal"
}
}
连接器启动后,先对 orders 做快照,再切换为读取 WAL。一笔订单从“配送中”变为“已送达”,就成为一个更新事件;一笔订单被取消并删除,就成为一个删除事件。你的系统只收到发生变化的行,而不是整张表。
三个月后,客户新增了一列,你需要对 orders 重新快照来回填旧数据。不必停掉数据管道,写一条信号即可:
INSERT INTO public.debezium_signal (id, type, data)
VALUES ('resnap-orders-1', 'execute-snapshot',
'{"data-collections": ["public.orders"]}');
Debezium 分块读取这张表,流式读取并行运行,水位线负责数据对齐。客户的 Agent 一分钟的新数据都不会漏掉。
陷阱在复制槽
Gunnar Morling 专门写过一篇文章讨论这个风险,讲得很清楚:连接器停止后,复制槽依然存在,只是处于非活动状态,而 Postgres 会保留从该槽停止位置起的所有 WAL 段。磁盘占用持续增长,直到客户的数据库空间耗尽。
你可能因为试用期结束而关掉了连接器,但复制槽还留在客户的服务器上。Morling 建议在某个槽保留的 WAL 超过 100 MB 时告警,同时监控磁盘剩余空间。检查用的查询很短:
SELECT slot_name, active,
pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) AS wal_retained
FROM pg_replication_slots;
MySQL 的风险恰好相反:如果连接器停得太久,它所在位置的 binlog 已被清除,连接器就无法续传,只能重新快照。
MySQL 连接器还会记录每条 DDL 语句及其 binlog 位置,以便重建任意时间点的表结构,因此这份 schema 历史必须持久化存储,不能放在临时位置。
应该按什么顺序搭建?
先和 DBA 做客户调研:用的是哪个版本的 Postgres 或 MySQL,WAL 或 binlog 保留多久,谁能创建复制用户,磁盘写满时谁在值班。最后一个问题的答案决定告警发给谁。
接着,约定一份具体的表清单,而不是把整个数据库都拿过来;创建信号表并确定谁可以向其写信号;然后在 staging 环境用接近生产环境的数据量试运行。
只有在复制槽告警已经运行、并且通过故意停掉连接器验证过之后,才能切到生产环境。最后,写一份交接运维手册,其中要写明项目结束时如何删除复制槽。
最常见的错误有哪些?
最常见的错误是把复制槽当成自己的资源,拆除测试环境时把它忘了。几乎同样常见的是,以为日志保留的历史足够,跳过快照,然后纳闷为什么较早的订单不见了。也有不少人在大表上用旧式快照,让流式读取一直阻塞到快照完成。
还有一个错误出在沟通上:没有事先告诉 DBA,连接器一停 WAL 就会堆积。等对方凌晨 3 点自己发现时,整个项目的信任就很难再挽回了。
这项技能怎么体现在简历上?
阅读 FDE 或数据工程师岗位的职位描述时,留意 CDC、Debezium、Kafka Connect 和逻辑复制等关键词。简历上别只写“用过 Debezium”,而要写你设计过带增量快照和按槽 WAL 告警的 CDC 数据管道,这说明你真正在生产中跑过。
好的 CDC 数据管道,客户几乎会忘了它在运行。你的工作是确保他们记住的只有一件事:数据始终是新的,而不是那块被写满的磁盘。
这篇文章对你有帮助吗?
感谢你的反馈!