FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

管道不能停时,客户的坏数据该去哪里

死信队列能安全存放坏数据,前提是重试、保留期和值班人员都配置到位。

分享微博

要点速览

  • Kafka Connect 默认遇错即停。设置 errors.tolerance=all 后,连接器会丢弃坏记录且不留日志。对客户数据来说,两种做法都很危险。
  • DLQ 要安全,需满足三点:重试次数足以容纳瞬时错误,DLQ 的保留期长于源队列,DLQ 主题配有订阅。
  • DLQ 是调试工具:务必在消息中记录失败原因,确保有人查看,并且只在故障修复后再重驱。
时间线从第 0 天到第 4 天。一条订单在第 0 天进入队列,在源队列中重试到第 3 天,随后被移入 DLQ。由于消息保留原始时间戳,且两个队列的消息保留期都是 4 天,它在 DLQ 中只剩 1 天,到第 4 天就会过期。
在 SQS 标准队列中,移入 DLQ 的消息仍保留进入源队列时的时间戳,留给排查的时间因此缩短。文中假设示例,资料来源:文中引用的 AWS SQS 文档。

设想这样一个场景:凌晨两点,一家零售客户打来电话,说数据仓库里的订单表从傍晚起就没再更新。原因只是一条日期字段格式错误的记录。连接器碰到它就停了,排在后面的几万条正常记录也跟着卡住。

很多工程师的第一反应是打开错误跳过,让管道继续跑。第二个问题就此埋下。一个月后,客户的财务团队发现一笔谁也解释不清的收入差异,因为那条记录存在过的痕迹已经荡然无存。

作为前线部署工程师(FDE)驻场工作,这种两难会反复出现:管道不能停,数据也不能丢。死信队列(DLQ)可以帮你走出困境,前提是你清楚它会在哪里出问题。

停下还是跳过,客户都要吃亏

当一条消息无法处理时,系统只有三种选择:停下、跳过,或者把消息转移到别处。Kafka Connect 默认会停下。设置 errors.tolerance=all 后,连接器改为跳过坏记录;Confluent 的一篇分析把这种静默跳过称为“YOLO”。

“静默”是字面意思。据 Confluent 介绍,开启错误容忍后,连接器默认不会记录自己正在丢弃消息。如果没有配置 DLQ 或日志,数据丢了你也无从知晓。

第三种选择是把记录转移到一个独立的队列。AWS 的 SQS 文档首先把 DLQ 定位为调试工具:无法消费的消息被隔离出来,方便你查明处理失败的原因。应该把 DLQ 当作有医生值班的隔离病房,而不是垃圾桶。

逐行配置一条订单管道

回到那家零售客户:订单经由 Kafka Connect 流入数据仓库。对这个连接器来说,合理的配置如下:

errors.tolerance=all
errors.deadletterqueue.topic.name=dlq-orders-sink
errors.deadletterqueue.context.headers.enable=true
errors.log.enable=true

第三行最有价值。Kafka Connect 可以把消息被拒绝的原因写进该消息自身的 header。第二天早上打开 DLQ,你立刻就能知道哪条记录失败、为什么失败,不必重跑一遍去猜。

前面提到,开启容忍后,连接器默认不记录被丢弃的消息。最后一行让你在 DLQ 之外还能在日志里留下线索,数据就不会悄无声息地丢失。

在 Confluent Cloud 上,序列化/反序列化(serde)错误同样不会让连接器停下:它会继续运行,并把失败的记录发送到 DLQ 主题。

再假设客户的订单跑在 SQS 上。这里的关键数字是重驱策略中的 maxReceiveCount:一条消息被消费者接收多少次之后,就会转移到 DLQ。

{
  "deadLetterTargetArn": "arn:aws:sqs:...:orders-dlq",
  "maxReceiveCount": 5
}

AWS 建议为重试留出足够余量。如果设为 1,只要失败一次,比如数据库闪断几秒,消息就会被推进 DLQ。结果 DLQ 里塞满了完全有效的订单,少数真正有问题的记录反而淹没其中。

让消息丢失的保留期算术

最难察觉的陷阱是保留期。在 SQS 标准队列上,转移到 DLQ 的消息会沿用它进入源队列时的时间戳。因此 AWS 建议,DLQ 的保留期始终要长于源队列。

举个假设的例子:两个队列都保留消息 4 天。一条订单在第 0 天进入队列,一直重试到第 3 天,才被转移到 DLQ。

时钟不会重新计时,所以你只剩 1 天时间排查。如果这一天恰逢周末,消息可能还没人打开就已过期。

Google Pub/Sub 的陷阱则不同。消息转移到死信主题之前的最大投递尝试次数,必须是 5 到 100 之间的整数。但如果死信主题没有订阅,发到那里的消息就会丢失,所以 Google 的文档提醒要为该主题添加订阅。

平台 需要调整的设置 容易丢数据的地方
SQS maxReceiveCount、DLQ 保留期 DLQ 保留期等于或短于源队列
Kafka Connect errors.tolerance、DLQ 主题、失败原因 header 开启了容忍,却没有 DLQ 或日志
Pub/Sub 最大投递尝试次数,5 到 100 死信主题没有订阅

在客户现场按什么顺序落地

先问客户一个问题:消息顺序对他们重要吗?AWS 提醒,如果不想打乱消息或操作的确切顺序,就不要给 FIFO 队列挂 DLQ。一连串账户余额更新和一条事件日志流截然不同,这个问题的答案决定了整体设计。

接着,根据客户系统常见的瞬时故障类型确定重试次数。把 DLQ 保留期设得比源队列长,开启失败原因记录,并确认 DLQ 有订阅或消费者。然后为 DLQ 中的新消息设置告警,并和客户约定由谁接收。

最后一步是运行手册。在 SQS 上,排查完成后可以用 DLQ 重驱把消息送回去。正确顺序是:先看原因,再修复代码或数据,最后才重驱。顺序反过来,消息只会再绕一圈,重新落回 DLQ。

各个项目反复出现的错误

最常见的错误是把 DLQ 当成走过场:配置好了,却没有告警、没有负责人,几周都没人打开。

其次是重试次数设得太低,DLQ 里堆满瞬时错误。再就是前面讲过的两个陷阱,保留期和订阅,二者都会在毫无预警的情况下丢失消息。

还有一个沟通上的错误:没告诉客户 DLQ 的存在。把 DLQ 的记录数写进定期报告。客户读到“12 条日期格式错误的记录,已修复并重跑”,会比自己撞见一笔无法解释的收入缺口更信任这套系统。

从职业发展看,这是值得在简历上写清楚的技能。与其写“搭建数据管道”,不如写明你为生产系统设计了基于 DLQ 的错误处理方案,并配有重驱运行手册。在系统设计面试中被问到“如果有一条记录损坏会怎样?”时,不要只回答“重试”。

要把三项设置都说出来:足以吸收瞬时错误的重试次数,长于源队列的 DLQ 保留期,以及写入 header 的失败原因,再加上订阅,确保真的有人查看 DLQ。

本周练习

搭建一个带 DLQ 的测试队列,故意发送一条 schema 错误的消息。跟踪它的每一次重试,在 DLQ 中读取失败原因,修复消费者,然后重驱,确认消息到达目的地。

完整走一遍之后,下次客户凌晨两点打来电话,你就能准确告诉他们每一条失败记录在哪里。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 5: 部署上线给一个客户打的补丁,可能弄坏另外三个语义化版本、变更日志和维护窗口,让每个客户提前知道何时升级、会变什么。