# 集成在客户网络上跑一小时就卡死？问题出在空闲连接

> 防火墙悄悄丢弃空闲连接，连接池却照常分发；扩容、加重试、加 worker 只会让故障更严重。

原文: https://fdetimes.net/zh/guides/integration-hangs-after-one-hour-connection-pool/

演示整个上午都很顺利。午饭后，系统有时会空闲一小时左右，随后第一个请求一直挂到超时，还连带拖垮几十个请求。重启服务后一切恢复正常，直到下一次卡死。

对比两套环境，原因就清楚了。在笔记本上，应用和数据库之间没有任何设备。在客户公司，中间隔着防火墙、NAT 网关和负载均衡器，每台设备都有自己的规则，而集成文档里没人写过这些规则。

本文按三层拆解这类故障：连接，超时与重试，队列。三层上最常见的本能反应分别是扩大连接池、增加重试、增加 worker，而这三种做法都会让故障更严重。

## 连接池以为还活着的死连接

Nais 基础设施文档把机制讲得很清楚。有状态防火墙、NAT 网关和负载均衡器都会删除空闲过久的连接记录，而且通常不发送 TCP 关闭信号。你这一侧没有人知道连接已经断了。连接池仍把它当作健康连接，交给下一个请求。

该文档给出的具体例子是：防火墙在连接空闲 60 分钟后将其丢弃，不发送关闭信号。这就是故障总在“大约一小时后”出现的原因，而且往往发生在低峰时段，因为这时连接池里有些连接闲置得足够久。

**要点:** 沉默太久的连接可能早已断开，而且不会有人通知你。

Nais 建议把池中每个连接的最大生命周期（TTL）设得比网络路径上最短的空闲超时更短，并开启后台连接清理。关键词是“最短”。如果负载均衡器 60 分钟断开，而内部某台防火墙断得更早，就必须以防火墙的数值为准。

## 示例：向客户 ERP 同步订单

假设你写了一个服务，把订单推送到客户 ERP 系统的数据库。白天订单源源不断，晚上 10 点到早上 6 点几乎没有。每天早上，第一笔订单会卡住 30 秒左右，接着下一批订单也跟着失败。

排查方法是向客户的网络团队提一个具体问题：“从我们的子网到 ERP 数据库，路径上有哪些设备，每台设备的空闲超时是多少？”假设对方回答防火墙 60 分钟断开。连接池配置（以 HikariCP 为例）就应该这样写：

```properties
# 网络路径上最短的空闲超时：60 分钟（客户的防火墙）
maximumPoolSize=9
# TTL 设为 50 分钟，比 60 分钟短，留出安全余量
maxLifetime=3000000
# 定期检查空闲连接，抢在防火墙断开之前
keepaliveTime=300000
```

50 分钟是有意为之：足够短，保证连接总在防火墙断开前被替换；又足够长，连接池不必频繁新建连接。请把 60 分钟这个数字的来源写进交接运行手册，否则接手的人不会知道它从哪里来。

## 扩大连接池只会让故障更严重

系统一卡死，很多人的第一反应是把 `maximumPoolSize` 从 10 调到 100。HikariCP wiki 的说法正好相反：要获得最佳吞吐量，活跃连接数应在（核数 × 2）+ 有效磁盘数左右。

一台 4 核、单磁盘机器上的数据库，得出 (4 × 2) + 1 = 9 个连接，所以上面的配置用的是 9。

原因在于上下文切换。wiki 指出，线程数一旦超过 CPU 核数，再加线程只会拖慢系统。100 个连接的池并不会让死连接消失，只会多出一批可能断开的连接，还会在客户数据库最吃力的时候给它压上更多负载。

## 三层重试变成九次调用

第二层是超时与重试。Amazon Builders' Library 指出，超时设得太短会增加后端的负载和延迟，因为重试的请求太多；超时设得太长，死连接会长时间占住请求。选定数值之前，先测量客户系统的真实延迟。

更危险的是多层叠加重试。按 Amazon 的说法，每一层的重试会相乘：三次变九次，还会继续增长。

假设 HTTP SDK 重试 3 次，你的代码再包一层重试 3 次，作业调度器又把任务重跑 3 次。一个失败的请求就可能变成 27 次调用，全部打到本已虚弱的系统上。

Amazon 建议只在调用栈的某一处重试。

在保留的那一层加上抖动（jitter）。抖动会在退避时间上叠加一个随机量，让重试在时间上分散开，避免各个客户端同步成波次地冲击客户系统。

```python
import random, time

def call_with_retry(fn, attempts=3, base=0.5, cap=8.0):
    for i in range(attempts):
        try:
            return fn()
        except TransientError:
            if i == attempts - 1:
                raise
            # 全抖动：在 0 到当前退避上限之间随机等待
            time.sleep(random.uniform(0, min(cap, base * 2 ** i)))
```

重试放在这里之后，关掉下层 SDK 和上层调度器的自动重试。

## 队列：看等待时长，不只看长度

最后一层是队列，它解释了为什么你修好连接池后客户还在投诉。Amazon 提到，积压一旦形成，系统可能要很长时间才能消化完并恢复到快速状态。根因故障在上午 9 点结束，但订单直到快中午仍在延迟进入 ERP。

因此 Amazon 重点监控队列中消息的等待时长，而不只是队列长度。一个队列有 5,000 条消息，但最老的消息只等了几秒，这是健康的。一个队列只有 200 条消息，最老的却已经停留 40 分钟，说明系统变慢了，或者在失败后反复重试。

Amazon 还提到，在过载时，它的许多系统会自动收紧，在生产者一端拒绝更多请求，而不是任由队列膨胀。

放到你的集成里，就是当消息等待时长超过阈值时，向发送方返回明确的错误。这比默默接下更多任务、几小时后才处理要好。

## 常见错误

第一个错误是用定时重启来解决问题。这只是掩盖症状，接手的人永远不会明白为什么有个 cron 任务在凌晨 3 点重启服务。第二个错误是只问一台设备的空闲超时，而你需要的是整条路径上最短的那个超时。

第三个错误是让每一层的重试都保持开启，只因为各个库默认就开着。第四个错误是按队列长度告警，而队列长度本来就随高峰时段起伏，应该按消息等待时长告警。

如果你排查过这类故障，写进简历时用数字而不是形容词，例如：“定位到防火墙在空闲 60 分钟后丢弃连接，将连接池 TTL 设为 50 分钟，移除三层之间重复的重试”。

“一小时”故障很少源于某一行写错的代码。多数时候，它来自一台你没问过的网络设备。所以到客户现场，第一个问题应该是：这两个系统之间隔着什么？

**本周动手试试:**

- 列出从你的服务到客户系统网络路径上的所有设备（防火墙、NAT、负载均衡器），逐一询问空闲超时，再与连接池的 maxLifetime 对比
- 数一数你的某条集成链路里有几层在重试，把每层的尝试次数相乘，看一个失败请求最多会变成多少次调用
- 为队列中最老消息的等待时长添加指标，并为它设置告警

## 信源

- [About Pool Sizing (HikariCP wiki)](https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing)

- [HTTP client connection management (Nais docs)](https://docs.nais.io/workloads/explanations/http-client-connection-management)

- [Timeouts, retries and backoff with jitter (Amazon Builders' Library)](https://builder.aws.com/content/3EumjoZascWd1oZiEgL8ORlv3qE/timeouts-retries-and-backoff-with-jitter)

- [Avoiding insurmountable queue backlogs (Amazon Builders' Library)](https://builder.aws.com/content/3EuRcgkTP1MI0c7zM8W6HL3WIqA/avoiding-insurmountable-queue-backlogs)
