管道不能停时,客户的坏数据该去哪里
死信队列能安全存放坏数据,前提是重试、保留期和值班人员都配置到位。
要点速览
- Kafka Connect 默认遇错即停。设置 errors.tolerance=all 后,连接器会丢弃坏记录且不留日志。对客户数据来说,两种做法都很危险。
- DLQ 要安全,需满足三点:重试次数足以容纳瞬时错误,DLQ 的保留期长于源队列,DLQ 主题配有订阅。
- DLQ 是调试工具:务必在消息中记录失败原因,确保有人查看,并且只在故障修复后再重驱。
设想这样一个场景:凌晨两点,一家零售客户打来电话,说数据仓库里的订单表从傍晚起就没再更新。原因只是一条日期字段格式错误的记录。连接器碰到它就停了,排在后面的几万条正常记录也跟着卡住。
很多工程师的第一反应是打开错误跳过,让管道继续跑。第二个问题就此埋下。一个月后,客户的财务团队发现一笔谁也解释不清的收入差异,因为那条记录存在过的痕迹已经荡然无存。
作为前线部署工程师(FDE)驻场工作,这种两难会反复出现:管道不能停,数据也不能丢。死信队列(DLQ)可以帮你走出困境,前提是你清楚它会在哪里出问题。
停下还是跳过,客户都要吃亏
当一条消息无法处理时,系统只有三种选择:停下、跳过,或者把消息转移到别处。Kafka Connect 默认会停下。设置 errors.tolerance=all 后,连接器改为跳过坏记录;Confluent 的一篇分析把这种静默跳过称为“YOLO”。
“静默”是字面意思。据 Confluent 介绍,开启错误容忍后,连接器默认不会记录自己正在丢弃消息。如果没有配置 DLQ 或日志,数据丢了你也无从知晓。
第三种选择是把记录转移到一个独立的队列。AWS 的 SQS 文档首先把 DLQ 定位为调试工具:无法消费的消息被隔离出来,方便你查明处理失败的原因。应该把 DLQ 当作有医生值班的隔离病房,而不是垃圾桶。
逐行配置一条订单管道
回到那家零售客户:订单经由 Kafka Connect 流入数据仓库。对这个连接器来说,合理的配置如下:
errors.tolerance=all
errors.deadletterqueue.topic.name=dlq-orders-sink
errors.deadletterqueue.context.headers.enable=true
errors.log.enable=true
第三行最有价值。Kafka Connect 可以把消息被拒绝的原因写进该消息自身的 header。第二天早上打开 DLQ,你立刻就能知道哪条记录失败、为什么失败,不必重跑一遍去猜。
前面提到,开启容忍后,连接器默认不记录被丢弃的消息。最后一行让你在 DLQ 之外还能在日志里留下线索,数据就不会悄无声息地丢失。
在 Confluent Cloud 上,序列化/反序列化(serde)错误同样不会让连接器停下:它会继续运行,并把失败的记录发送到 DLQ 主题。
再假设客户的订单跑在 SQS 上。这里的关键数字是重驱策略中的 maxReceiveCount:一条消息被消费者接收多少次之后,就会转移到 DLQ。
{
"deadLetterTargetArn": "arn:aws:sqs:...:orders-dlq",
"maxReceiveCount": 5
}
AWS 建议为重试留出足够余量。如果设为 1,只要失败一次,比如数据库闪断几秒,消息就会被推进 DLQ。结果 DLQ 里塞满了完全有效的订单,少数真正有问题的记录反而淹没其中。
让消息丢失的保留期算术
最难察觉的陷阱是保留期。在 SQS 标准队列上,转移到 DLQ 的消息会沿用它进入源队列时的时间戳。因此 AWS 建议,DLQ 的保留期始终要长于源队列。
举个假设的例子:两个队列都保留消息 4 天。一条订单在第 0 天进入队列,一直重试到第 3 天,才被转移到 DLQ。
时钟不会重新计时,所以你只剩 1 天时间排查。如果这一天恰逢周末,消息可能还没人打开就已过期。
Google Pub/Sub 的陷阱则不同。消息转移到死信主题之前的最大投递尝试次数,必须是 5 到 100 之间的整数。但如果死信主题没有订阅,发到那里的消息就会丢失,所以 Google 的文档提醒要为该主题添加订阅。
| 平台 | 需要调整的设置 | 容易丢数据的地方 |
|---|---|---|
| SQS | maxReceiveCount、DLQ 保留期 |
DLQ 保留期等于或短于源队列 |
| Kafka Connect | errors.tolerance、DLQ 主题、失败原因 header |
开启了容忍,却没有 DLQ 或日志 |
| Pub/Sub | 最大投递尝试次数,5 到 100 | 死信主题没有订阅 |
在客户现场按什么顺序落地
先问客户一个问题:消息顺序对他们重要吗?AWS 提醒,如果不想打乱消息或操作的确切顺序,就不要给 FIFO 队列挂 DLQ。一连串账户余额更新和一条事件日志流截然不同,这个问题的答案决定了整体设计。
接着,根据客户系统常见的瞬时故障类型确定重试次数。把 DLQ 保留期设得比源队列长,开启失败原因记录,并确认 DLQ 有订阅或消费者。然后为 DLQ 中的新消息设置告警,并和客户约定由谁接收。
最后一步是运行手册。在 SQS 上,排查完成后可以用 DLQ 重驱把消息送回去。正确顺序是:先看原因,再修复代码或数据,最后才重驱。顺序反过来,消息只会再绕一圈,重新落回 DLQ。
各个项目反复出现的错误
最常见的错误是把 DLQ 当成走过场:配置好了,却没有告警、没有负责人,几周都没人打开。
其次是重试次数设得太低,DLQ 里堆满瞬时错误。再就是前面讲过的两个陷阱,保留期和订阅,二者都会在毫无预警的情况下丢失消息。
还有一个沟通上的错误:没告诉客户 DLQ 的存在。把 DLQ 的记录数写进定期报告。客户读到“12 条日期格式错误的记录,已修复并重跑”,会比自己撞见一笔无法解释的收入缺口更信任这套系统。
从职业发展看,这是值得在简历上写清楚的技能。与其写“搭建数据管道”,不如写明你为生产系统设计了基于 DLQ 的错误处理方案,并配有重驱运行手册。在系统设计面试中被问到“如果有一条记录损坏会怎样?”时,不要只回答“重试”。
要把三项设置都说出来:足以吸收瞬时错误的重试次数,长于源队列的 DLQ 保留期,以及写入 header 的失败原因,再加上订阅,确保真的有人查看 DLQ。
本周练习
搭建一个带 DLQ 的测试队列,故意发送一条 schema 错误的消息。跟踪它的每一次重试,在 DLQ 中读取失败原因,修复消费者,然后重驱,确认消息到达目的地。
完整走一遍之后,下次客户凌晨两点打来电话,你就能准确告诉他们每一条失败记录在哪里。
这篇文章对你有帮助吗?
感谢你的反馈!