FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Debezium 直接读客户的事务日志,不必再反复扫表

代价是复制槽可能悄悄占满客户生产环境的磁盘,快照和水位线也必须处理得当。

分享微博

要点速览

  • Debezium 从事务日志(Postgres 的预写日志 WAL、MySQL 的 binlog)读取变更,不查询数据表,因此连删除也能捕获,客户的应用无需改动。
  • 日志不保留完整历史,所以首次运行总要做一次快照;增量快照分块读取,流式读取同时照常进行。
  • 最大的运维风险是被遗忘的复制槽一直保留 WAL,直到磁盘写满,所以告警必须从第一天就到位。
示意图:客户的 Postgres 数据库将 WAL 推送到一个复制槽(橙色高亮),复制槽连接着一个已停止的 Debezium 连接器(虚线框)。Postgres 内部的 WAL 段不断堆积,复制槽下方注明:复制槽保留的 WAL 超过 100 MB 时告警。
连接器停止后,复制槽仍留在客户的服务器上,Postgres 会保留所有 WAL 段,直到磁盘写满。来源:Gunnar Morling 关于复制槽风险的文章;Debezium 文档。

客户希望自己的 Agent 能根据最新的订单状态作答。大家最先想到的快速方案是写个定时任务,每晚跑一次 SELECT * FROM orders,再和上一份副本比对。

第一周一切顺利。后来表越来越大,客户的 DBA 来问为什么数据库每晚凌晨 2 点负载飙高,你这才发现,自己从来没捕获到过一条被删除的行。

这是前线部署工程师(FDE)熟悉的处境:需要从一个不归你管的系统拿到实时数据,不能改客户的应用代码,也不能拖慢生产数据库。变更数据捕获(CDC)正是为这个问题而生,Debezium 则是专门做这件事的开源工具。

把 CDC 真正弄懂,你就能以同行身份和客户的 DBA 对话,而不是成为对方需要提防的风险。下文讲解 Debezium 的工作原理,给出具体的配置示例,并列出需要在酿成事故之前堵住的运维陷阱。

不查表,读日志

Debezium 的自我介绍是一个用于变更数据捕获的开源分布式平台。它让应用能够响应每一次插入、更新和删除,而无需改动写入数据的那个应用。对客户来说,这一点最有价值:谁都不用去动正在运行的系统。

关键在于 Debezium 不查询数据表。PostgreSQL 连接器借助 Postgres 自带的流复制协议,通过逻辑解码从事务日志中读取已提交的变更。对于 MySQL,连接器读取 binlog 并输出行级事件。被删除的行同样会变成一个事件,而这恰恰是靠比对表数据的定时任务永远看不到的。

有一个细节能让和 DBA 的沟通顺畅得多:pgoutput 插件随 PostgreSQL 10 及以上版本自带,不需要请对方在客户服务器上额外安装任何库。在很多企业里,生产环境每多装一个包就要多走一轮审批,省掉这一轮可能就省下一周。

既然读日志,为什么还要快照?

这个问题几乎一定会被问到。答案是:日志并不是完整历史。Debezium 文档明确指出,大多数 Postgres 服务器不会在 WAL 中保留数据库的完整历史,因为 WAL 过一段时间就会被清理。MySQL 通常也会配置为在一定期限后清除 binlog。

Netflix 的 DBLog 论文描述了同样的问题:事务日志通常不包含完整的变更历史,因此只捕获日志无法同步整个数据库。正因如此,Postgres 连接器首次连接时会先对 schema 做一次一致性快照,然后才切换为从该位置起读取日志。

旧的快照模式在大表上有两个弱点:快照完成前流式读取一直被阻塞;快照中途中断后无法续传。Debezium 的增量快照解决了这个问题:表按块读取,流式读取同时继续运行,触发方式是向一张专用的信号表写入一条信号。

为了让分块读取的数据与同时发生的变更保持一致,Debezium 借鉴了 DBLog 的水位线思路:在每个数据块读取前后,向事务日志中插入低水位线和高水位线。

根据 DBLog 论文,这种方法不加表锁,对源数据库的影响非常小。DBA 问快照会不会把系统卡住时,就可以这样回答。

示例:一家配送公司的订单表

设想客户是一家配送公司,运行 Postgres 15,你的 Agent 需要跟踪其中的 public.orders 表。你请 DBA 创建一个具备复制权限、并对待跟踪表有读权限的用户,然后创建信号表。

信号表是向 Debezium 下达命令的渠道:要对某张表重新快照,只需往里插入一条 INSERT。所以从一开始就要和 DBA 约定好谁有权向这张表写信号,别等到需要回填数据那天才去申请权限。连接器配置只需几行:

{
  "name": "orders-cdc",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "database.hostname": "db.customer.internal",
    "database.port": "5432",
    "database.user": "cdc_user",
    "database.dbname": "logistics",
    "topic.prefix": "customer_a",
    "plugin.name": "pgoutput",
    "table.include.list": "public.orders,public.debezium_signal",
    "signal.data.collection": "public.debezium_signal"
  }
}

连接器启动后,先对 orders 做快照,再切换为读取 WAL。一笔订单从“配送中”变为“已送达”,就成为一个更新事件;一笔订单被取消并删除,就成为一个删除事件。你的系统只收到发生变化的行,而不是整张表。

三个月后,客户新增了一列,你需要对 orders 重新快照来回填旧数据。不必停掉数据管道,写一条信号即可:

INSERT INTO public.debezium_signal (id, type, data)
VALUES ('resnap-orders-1', 'execute-snapshot',
        '{"data-collections": ["public.orders"]}');

Debezium 分块读取这张表,流式读取并行运行,水位线负责数据对齐。客户的 Agent 一分钟的新数据都不会漏掉。

陷阱在复制槽

Gunnar Morling 专门写过一篇文章讨论这个风险,讲得很清楚:连接器停止后,复制槽依然存在,只是处于非活动状态,而 Postgres 会保留从该槽停止位置起的所有 WAL 段。磁盘占用持续增长,直到客户的数据库空间耗尽。

你可能因为试用期结束而关掉了连接器,但复制槽还留在客户的服务器上。Morling 建议在某个槽保留的 WAL 超过 100 MB 时告警,同时监控磁盘剩余空间。检查用的查询很短:

SELECT slot_name, active,
       pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)) AS wal_retained
FROM pg_replication_slots;

MySQL 的风险恰好相反:如果连接器停得太久,它所在位置的 binlog 已被清除,连接器就无法续传,只能重新快照。

MySQL 连接器还会记录每条 DDL 语句及其 binlog 位置,以便重建任意时间点的表结构,因此这份 schema 历史必须持久化存储,不能放在临时位置。

应该按什么顺序搭建?

先和 DBA 做客户调研:用的是哪个版本的 Postgres 或 MySQL,WAL 或 binlog 保留多久,谁能创建复制用户,磁盘写满时谁在值班。最后一个问题的答案决定告警发给谁。

接着,约定一份具体的表清单,而不是把整个数据库都拿过来;创建信号表并确定谁可以向其写信号;然后在 staging 环境用接近生产环境的数据量试运行。

只有在复制槽告警已经运行、并且通过故意停掉连接器验证过之后,才能切到生产环境。最后,写一份交接运维手册,其中要写明项目结束时如何删除复制槽。

最常见的错误有哪些?

最常见的错误是把复制槽当成自己的资源,拆除测试环境时把它忘了。几乎同样常见的是,以为日志保留的历史足够,跳过快照,然后纳闷为什么较早的订单不见了。也有不少人在大表上用旧式快照,让流式读取一直阻塞到快照完成。

还有一个错误出在沟通上:没有事先告诉 DBA,连接器一停 WAL 就会堆积。等对方凌晨 3 点自己发现时,整个项目的信任就很难再挽回了。

这项技能怎么体现在简历上?

阅读 FDE 或数据工程师岗位的职位描述时,留意 CDC、Debezium、Kafka Connect 和逻辑复制等关键词。简历上别只写“用过 Debezium”,而要写你设计过带增量快照和按槽 WAL 告警的 CDC 数据管道,这说明你真正在生产中跑过。

好的 CDC 数据管道,客户几乎会忘了它在运行。你的工作是确保他们记住的只有一件事:数据始终是新的,而不是那块被写满的磁盘。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力FDE 系统设计面试:遗留系统才是真正的考题提议推倒重写不符合岗位要求,用绞杀者模式的外观层才能证明你能在别人定下的约束里做事。