# 管道不能停时，客户的坏数据该去哪里

> 死信队列能安全存放坏数据，前提是重试、保留期和值班人员都配置到位。

原文: https://fdetimes.net/zh/guides/dead-letter-queue-pipeline-bad-records/

设想这样一个场景：凌晨两点，一家零售客户打来电话，说数据仓库里的订单表从傍晚起就没再更新。原因只是一条日期字段格式错误的记录。连接器碰到它就停了，排在后面的几万条正常记录也跟着卡住。

很多工程师的第一反应是打开错误跳过，让管道继续跑。第二个问题就此埋下。一个月后，客户的财务团队发现一笔谁也解释不清的收入差异，因为那条记录存在过的痕迹已经荡然无存。

作为前线部署工程师（FDE）驻场工作，这种两难会反复出现：管道不能停，数据也不能丢。死信队列（DLQ）可以帮你走出困境，前提是你清楚它会在哪里出问题。

## 停下还是跳过，客户都要吃亏

当一条消息无法处理时，系统只有三种选择：停下、跳过，或者把消息转移到别处。Kafka Connect 默认会停下。设置 `errors.tolerance=all` 后，连接器改为跳过坏记录；Confluent 的一篇分析把这种静默跳过称为“YOLO”。

“静默”是字面意思。据 Confluent 介绍，开启错误容忍后，连接器默认不会记录自己正在丢弃消息。如果没有配置 DLQ 或日志，数据丢了你也无从知晓。

第三种选择是把记录转移到一个独立的队列。AWS 的 SQS 文档首先把 DLQ 定位为调试工具：无法消费的消息被隔离出来，方便你查明处理失败的原因。应该把 DLQ 当作有医生值班的隔离病房，而不是垃圾桶。

**要点:** 没人查看的死信队列，只是丢数据丢得慢一点而已。

## 逐行配置一条订单管道

回到那家零售客户：订单经由 Kafka Connect 流入数据仓库。对这个连接器来说，合理的配置如下：

```properties
errors.tolerance=all
errors.deadletterqueue.topic.name=dlq-orders-sink
errors.deadletterqueue.context.headers.enable=true
errors.log.enable=true
```

第三行最有价值。Kafka Connect 可以把消息被拒绝的原因写进该消息自身的 header。第二天早上打开 DLQ，你立刻就能知道哪条记录失败、为什么失败，不必重跑一遍去猜。

前面提到，开启容忍后，连接器默认不记录被丢弃的消息。最后一行让你在 DLQ 之外还能在日志里留下线索，数据就不会悄无声息地丢失。

在 Confluent Cloud 上，序列化/反序列化（serde）错误同样不会让连接器停下：它会继续运行，并把失败的记录发送到 DLQ 主题。

再假设客户的订单跑在 SQS 上。这里的关键数字是重驱策略中的 `maxReceiveCount`：一条消息被消费者接收多少次之后，就会转移到 DLQ。

```json
{
  "deadLetterTargetArn": "arn:aws:sqs:...:orders-dlq",
  "maxReceiveCount": 5
}
```

AWS 建议为重试留出足够余量。如果设为 1，只要失败一次，比如数据库闪断几秒，消息就会被推进 DLQ。结果 DLQ 里塞满了完全有效的订单，少数真正有问题的记录反而淹没其中。

## 让消息丢失的保留期算术

最难察觉的陷阱是保留期。在 SQS 标准队列上，转移到 DLQ 的消息会沿用它进入源队列时的时间戳。因此 AWS 建议，DLQ 的保留期始终要长于源队列。

举个假设的例子：两个队列都保留消息 4 天。一条订单在第 0 天进入队列，一直重试到第 3 天，才被转移到 DLQ。

时钟不会重新计时，所以你只剩 1 天时间排查。如果这一天恰逢周末，消息可能还没人打开就已过期。

Google Pub/Sub 的陷阱则不同。消息转移到死信主题之前的最大投递尝试次数，必须是 5 到 100 之间的整数。但如果死信主题没有订阅，发到那里的消息就会丢失，所以 Google 的文档提醒要为该主题添加订阅。

| 平台 | 需要调整的设置 | 容易丢数据的地方 |
|---|---|---|
| SQS | `maxReceiveCount`、DLQ 保留期 | DLQ 保留期等于或短于源队列 |
| Kafka Connect | `errors.tolerance`、DLQ 主题、失败原因 header | 开启了容忍，却没有 DLQ 或日志 |
| Pub/Sub | 最大投递尝试次数，5 到 100 | 死信主题没有订阅 |

## 在客户现场按什么顺序落地

先问客户一个问题：消息顺序对他们重要吗？AWS 提醒，如果不想打乱消息或操作的确切顺序，就不要给 FIFO 队列挂 DLQ。一连串账户余额更新和一条事件日志流截然不同，这个问题的答案决定了整体设计。

接着，根据客户系统常见的瞬时故障类型确定重试次数。把 DLQ 保留期设得比源队列长，开启失败原因记录，并确认 DLQ 有订阅或消费者。然后为 DLQ 中的新消息设置告警，并和客户约定由谁接收。

最后一步是运行手册。在 SQS 上，排查完成后可以用 DLQ 重驱把消息送回去。正确顺序是：先看原因，再修复代码或数据，最后才重驱。顺序反过来，消息只会再绕一圈，重新落回 DLQ。

## 各个项目反复出现的错误

最常见的错误是把 DLQ 当成走过场：配置好了，却没有告警、没有负责人，几周都没人打开。

其次是重试次数设得太低，DLQ 里堆满瞬时错误。再就是前面讲过的两个陷阱，保留期和订阅，二者都会在毫无预警的情况下丢失消息。

还有一个沟通上的错误：没告诉客户 DLQ 的存在。把 DLQ 的记录数写进定期报告。客户读到“12 条日期格式错误的记录，已修复并重跑”，会比自己撞见一笔无法解释的收入缺口更信任这套系统。

从职业发展看，这是值得在简历上写清楚的技能。与其写“搭建数据管道”，不如写明你为生产系统设计了基于 DLQ 的错误处理方案，并配有重驱运行手册。在系统设计面试中被问到“如果有一条记录损坏会怎样？”时，不要只回答“重试”。

要把三项设置都说出来：足以吸收瞬时错误的重试次数，长于源队列的 DLQ 保留期，以及写入 header 的失败原因，再加上订阅，确保真的有人查看 DLQ。

## 本周练习

搭建一个带 DLQ 的测试队列，故意发送一条 schema 错误的消息。跟踪它的每一次重试，在 DLQ 中读取失败原因，修复消费者，然后重驱，确认消息到达目的地。

完整走一遍之后，下次客户凌晨两点打来电话，你就能准确告诉他们每一条失败记录在哪里。

**本周动手试试:**

- 打开一条正在运行的管道的配置，确认坏记录会让它停下、被丢弃还是进入 DLQ，并用一句话记下答案。
- 对比 DLQ 与源队列的保留期，并检查 DLQ 主题是否有订阅。如果没有，现在就修好。
- 为这条管道的 DLQ 写一页运行手册：谁接收告警，去哪里看失败原因，修复上线后如何一步步重驱。

## 信源

- [Using dead-letter queues in Amazon SQS](https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-dead-letter-queues.md)

- [Kafka Connect Deep Dive – Error Handling and Dead Letter Queues](https://www.confluent.io/en-gb/blog/kafka-connect-deep-dive-error-handling-dead-letter-queues/)

- [View Connector Dead Letter Queue Errors in Confluent Cloud](https://docs.confluent.io/cloud/current/connectors/dead-letter-queue.md)

- [Dead-letter topics | Pub/Sub](https://docs.cloud.google.com/pubsub/docs/handling-failures)
