集成在客户网络上跑一小时就卡死?问题出在空闲连接
防火墙悄悄丢弃空闲连接,连接池却照常分发;扩容、加重试、加 worker 只会让故障更严重。
要点速览
- 防火墙或 NAT 可能在连接空闲一段时间后(例如 60 分钟)直接丢弃,不发送 TCP 关闭信号,连接池仍认为连接存活。
- 把连接 TTL 设得比路径上最短的空闲超时更短,并开启后台清理。不要扩大连接池。
- 只在一层重试,并加抖动。队列要监控消息等待时长,不能只看长度。
演示整个上午都很顺利。午饭后,系统有时会空闲一小时左右,随后第一个请求一直挂到超时,还连带拖垮几十个请求。重启服务后一切恢复正常,直到下一次卡死。
对比两套环境,原因就清楚了。在笔记本上,应用和数据库之间没有任何设备。在客户公司,中间隔着防火墙、NAT 网关和负载均衡器,每台设备都有自己的规则,而集成文档里没人写过这些规则。
本文按三层拆解这类故障:连接,超时与重试,队列。三层上最常见的本能反应分别是扩大连接池、增加重试、增加 worker,而这三种做法都会让故障更严重。
连接池以为还活着的死连接
Nais 基础设施文档把机制讲得很清楚。有状态防火墙、NAT 网关和负载均衡器都会删除空闲过久的连接记录,而且通常不发送 TCP 关闭信号。你这一侧没有人知道连接已经断了。连接池仍把它当作健康连接,交给下一个请求。
该文档给出的具体例子是:防火墙在连接空闲 60 分钟后将其丢弃,不发送关闭信号。这就是故障总在“大约一小时后”出现的原因,而且往往发生在低峰时段,因为这时连接池里有些连接闲置得足够久。
Nais 建议把池中每个连接的最大生命周期(TTL)设得比网络路径上最短的空闲超时更短,并开启后台连接清理。关键词是“最短”。如果负载均衡器 60 分钟断开,而内部某台防火墙断得更早,就必须以防火墙的数值为准。
示例:向客户 ERP 同步订单
假设你写了一个服务,把订单推送到客户 ERP 系统的数据库。白天订单源源不断,晚上 10 点到早上 6 点几乎没有。每天早上,第一笔订单会卡住 30 秒左右,接着下一批订单也跟着失败。
排查方法是向客户的网络团队提一个具体问题:“从我们的子网到 ERP 数据库,路径上有哪些设备,每台设备的空闲超时是多少?”假设对方回答防火墙 60 分钟断开。连接池配置(以 HikariCP 为例)就应该这样写:
# 网络路径上最短的空闲超时:60 分钟(客户的防火墙)
maximumPoolSize=9
# TTL 设为 50 分钟,比 60 分钟短,留出安全余量
maxLifetime=3000000
# 定期检查空闲连接,抢在防火墙断开之前
keepaliveTime=300000
50 分钟是有意为之:足够短,保证连接总在防火墙断开前被替换;又足够长,连接池不必频繁新建连接。请把 60 分钟这个数字的来源写进交接运行手册,否则接手的人不会知道它从哪里来。
扩大连接池只会让故障更严重
系统一卡死,很多人的第一反应是把 maximumPoolSize 从 10 调到 100。HikariCP wiki 的说法正好相反:要获得最佳吞吐量,活跃连接数应在(核数 × 2)+ 有效磁盘数左右。
一台 4 核、单磁盘机器上的数据库,得出 (4 × 2) + 1 = 9 个连接,所以上面的配置用的是 9。
原因在于上下文切换。wiki 指出,线程数一旦超过 CPU 核数,再加线程只会拖慢系统。100 个连接的池并不会让死连接消失,只会多出一批可能断开的连接,还会在客户数据库最吃力的时候给它压上更多负载。
三层重试变成九次调用
第二层是超时与重试。Amazon Builders’ Library 指出,超时设得太短会增加后端的负载和延迟,因为重试的请求太多;超时设得太长,死连接会长时间占住请求。选定数值之前,先测量客户系统的真实延迟。
更危险的是多层叠加重试。按 Amazon 的说法,每一层的重试会相乘:三次变九次,还会继续增长。
假设 HTTP SDK 重试 3 次,你的代码再包一层重试 3 次,作业调度器又把任务重跑 3 次。一个失败的请求就可能变成 27 次调用,全部打到本已虚弱的系统上。
Amazon 建议只在调用栈的某一处重试。
在保留的那一层加上抖动(jitter)。抖动会在退避时间上叠加一个随机量,让重试在时间上分散开,避免各个客户端同步成波次地冲击客户系统。
import random, time
def call_with_retry(fn, attempts=3, base=0.5, cap=8.0):
for i in range(attempts):
try:
return fn()
except TransientError:
if i == attempts - 1:
raise
# 全抖动:在 0 到当前退避上限之间随机等待
time.sleep(random.uniform(0, min(cap, base * 2 ** i)))
重试放在这里之后,关掉下层 SDK 和上层调度器的自动重试。
队列:看等待时长,不只看长度
最后一层是队列,它解释了为什么你修好连接池后客户还在投诉。Amazon 提到,积压一旦形成,系统可能要很长时间才能消化完并恢复到快速状态。根因故障在上午 9 点结束,但订单直到快中午仍在延迟进入 ERP。
因此 Amazon 重点监控队列中消息的等待时长,而不只是队列长度。一个队列有 5,000 条消息,但最老的消息只等了几秒,这是健康的。一个队列只有 200 条消息,最老的却已经停留 40 分钟,说明系统变慢了,或者在失败后反复重试。
Amazon 还提到,在过载时,它的许多系统会自动收紧,在生产者一端拒绝更多请求,而不是任由队列膨胀。
放到你的集成里,就是当消息等待时长超过阈值时,向发送方返回明确的错误。这比默默接下更多任务、几小时后才处理要好。
常见错误
第一个错误是用定时重启来解决问题。这只是掩盖症状,接手的人永远不会明白为什么有个 cron 任务在凌晨 3 点重启服务。第二个错误是只问一台设备的空闲超时,而你需要的是整条路径上最短的那个超时。
第三个错误是让每一层的重试都保持开启,只因为各个库默认就开着。第四个错误是按队列长度告警,而队列长度本来就随高峰时段起伏,应该按消息等待时长告警。
如果你排查过这类故障,写进简历时用数字而不是形容词,例如:“定位到防火墙在空闲 60 分钟后丢弃连接,将连接池 TTL 设为 50 分钟,移除三层之间重复的重试”。
“一小时”故障很少源于某一行写错的代码。多数时候,它来自一台你没问过的网络设备。所以到客户现场,第一个问题应该是:这两个系统之间隔着什么?
这篇文章对你有帮助吗?
感谢你的反馈!