FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

集成在客户网络上跑一小时就卡死?问题出在空闲连接

防火墙悄悄丢弃空闲连接,连接池却照常分发;扩容、加重试、加 worker 只会让故障更严重。

分享微博

要点速览

  • 防火墙或 NAT 可能在连接空闲一段时间后(例如 60 分钟)直接丢弃,不发送 TCP 关闭信号,连接池仍认为连接存活。
  • 把连接 TTL 设得比路径上最短的空闲超时更短,并开启后台清理。不要扩大连接池。
  • 只在一层重试,并加抖动。队列要监控消息等待时长,不能只看长度。
横向条形图:只在一层(HTTP SDK)重试时,一个失败请求变成 3 次调用;HTTP SDK、你的代码和作业调度器各重试 3 次时,同一个请求变成 27 次调用。27 次的条形标为橙色。
文中示例:HTTP SDK、你的代码和作业调度器各重试 3 次,尝试次数相乘,一个失败请求可能变成 27 次调用,压向本已吃力的系统。来源:Amazon Builders' Library,文中计算示例。

演示整个上午都很顺利。午饭后,系统有时会空闲一小时左右,随后第一个请求一直挂到超时,还连带拖垮几十个请求。重启服务后一切恢复正常,直到下一次卡死。

对比两套环境,原因就清楚了。在笔记本上,应用和数据库之间没有任何设备。在客户公司,中间隔着防火墙、NAT 网关和负载均衡器,每台设备都有自己的规则,而集成文档里没人写过这些规则。

本文按三层拆解这类故障:连接,超时与重试,队列。三层上最常见的本能反应分别是扩大连接池、增加重试、增加 worker,而这三种做法都会让故障更严重。

连接池以为还活着的死连接

Nais 基础设施文档把机制讲得很清楚。有状态防火墙、NAT 网关和负载均衡器都会删除空闲过久的连接记录,而且通常不发送 TCP 关闭信号。你这一侧没有人知道连接已经断了。连接池仍把它当作健康连接,交给下一个请求。

该文档给出的具体例子是:防火墙在连接空闲 60 分钟后将其丢弃,不发送关闭信号。这就是故障总在“大约一小时后”出现的原因,而且往往发生在低峰时段,因为这时连接池里有些连接闲置得足够久。

Nais 建议把池中每个连接的最大生命周期(TTL)设得比网络路径上最短的空闲超时更短,并开启后台连接清理。关键词是“最短”。如果负载均衡器 60 分钟断开,而内部某台防火墙断得更早,就必须以防火墙的数值为准。

示例:向客户 ERP 同步订单

假设你写了一个服务,把订单推送到客户 ERP 系统的数据库。白天订单源源不断,晚上 10 点到早上 6 点几乎没有。每天早上,第一笔订单会卡住 30 秒左右,接着下一批订单也跟着失败。

排查方法是向客户的网络团队提一个具体问题:“从我们的子网到 ERP 数据库,路径上有哪些设备,每台设备的空闲超时是多少?”假设对方回答防火墙 60 分钟断开。连接池配置(以 HikariCP 为例)就应该这样写:

# 网络路径上最短的空闲超时:60 分钟(客户的防火墙)
maximumPoolSize=9
# TTL 设为 50 分钟,比 60 分钟短,留出安全余量
maxLifetime=3000000
# 定期检查空闲连接,抢在防火墙断开之前
keepaliveTime=300000

50 分钟是有意为之:足够短,保证连接总在防火墙断开前被替换;又足够长,连接池不必频繁新建连接。请把 60 分钟这个数字的来源写进交接运行手册,否则接手的人不会知道它从哪里来。

扩大连接池只会让故障更严重

系统一卡死,很多人的第一反应是把 maximumPoolSize 从 10 调到 100。HikariCP wiki 的说法正好相反:要获得最佳吞吐量,活跃连接数应在(核数 × 2)+ 有效磁盘数左右。

一台 4 核、单磁盘机器上的数据库,得出 (4 × 2) + 1 = 9 个连接,所以上面的配置用的是 9。

原因在于上下文切换。wiki 指出,线程数一旦超过 CPU 核数,再加线程只会拖慢系统。100 个连接的池并不会让死连接消失,只会多出一批可能断开的连接,还会在客户数据库最吃力的时候给它压上更多负载。

三层重试变成九次调用

第二层是超时与重试。Amazon Builders’ Library 指出,超时设得太短会增加后端的负载和延迟,因为重试的请求太多;超时设得太长,死连接会长时间占住请求。选定数值之前,先测量客户系统的真实延迟。

更危险的是多层叠加重试。按 Amazon 的说法,每一层的重试会相乘:三次变九次,还会继续增长。

假设 HTTP SDK 重试 3 次,你的代码再包一层重试 3 次,作业调度器又把任务重跑 3 次。一个失败的请求就可能变成 27 次调用,全部打到本已虚弱的系统上。

Amazon 建议只在调用栈的某一处重试。

在保留的那一层加上抖动(jitter)。抖动会在退避时间上叠加一个随机量,让重试在时间上分散开,避免各个客户端同步成波次地冲击客户系统。

import random, time

def call_with_retry(fn, attempts=3, base=0.5, cap=8.0):
    for i in range(attempts):
        try:
            return fn()
        except TransientError:
            if i == attempts - 1:
                raise
            # 全抖动:在 0 到当前退避上限之间随机等待
            time.sleep(random.uniform(0, min(cap, base * 2 ** i)))

重试放在这里之后,关掉下层 SDK 和上层调度器的自动重试。

队列:看等待时长,不只看长度

最后一层是队列,它解释了为什么你修好连接池后客户还在投诉。Amazon 提到,积压一旦形成,系统可能要很长时间才能消化完并恢复到快速状态。根因故障在上午 9 点结束,但订单直到快中午仍在延迟进入 ERP。

因此 Amazon 重点监控队列中消息的等待时长,而不只是队列长度。一个队列有 5,000 条消息,但最老的消息只等了几秒,这是健康的。一个队列只有 200 条消息,最老的却已经停留 40 分钟,说明系统变慢了,或者在失败后反复重试。

Amazon 还提到,在过载时,它的许多系统会自动收紧,在生产者一端拒绝更多请求,而不是任由队列膨胀。

放到你的集成里,就是当消息等待时长超过阈值时,向发送方返回明确的错误。这比默默接下更多任务、几小时后才处理要好。

常见错误

第一个错误是用定时重启来解决问题。这只是掩盖症状,接手的人永远不会明白为什么有个 cron 任务在凌晨 3 点重启服务。第二个错误是只问一台设备的空闲超时,而你需要的是整条路径上最短的那个超时。

第三个错误是让每一层的重试都保持开启,只因为各个库默认就开着。第四个错误是按队列长度告警,而队列长度本来就随高峰时段起伏,应该按消息等待时长告警。

如果你排查过这类故障,写进简历时用数字而不是形容词,例如:“定位到防火墙在空闲 60 分钟后丢弃连接,将连接池 TTL 设为 50 分钟,移除三层之间重复的重试”。

“一小时”故障很少源于某一行写错的代码。多数时候,它来自一台你没问过的网络设备。所以到客户现场,第一个问题应该是:这两个系统之间隔着什么?

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量温度设为 0,同一提示词跑 1000 次出了 80 种答案配置完全相同的两次运行,准确率最多相差 15%,只跑一次评测就决定保留还是回滚,比的可能只是噪声。