FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户负载均衡器之后,所有请求都是同一个 IP

真实 IP 丢失、会话乱跳、健康检查失真,根源都在 L4、L7 和反向代理各自看到了什么。

分享微博

要点速览

  • L4 只看地址和端口,L7 能读 HTTP 头。写第一行配置之前,先弄清客户用的是哪一种。
  • 在代理之后,服务器只能看到最后一个代理的 IP。只有来自已确认可信的代理时,才信任 X-Forwarded-For。
  • 服务要想方便地放到负载均衡器之后,就不能在内存里保存会话,要有真实的健康检查端点,并在客户需要时把 TLS 交给负载均衡器处理。
请求路径示意图:浏览器携带原始 IP,到达客户的 L7 负载均衡器(读取 URL 和 Cookie,添加 X-Forwarded-For),再到你的 NGINX(仅信任来自 10.20.0.0/24 的请求头,图中高亮),最后到达应用,应用看到的是真实 IP。下方列出三个常见故障:真实 IP 丢失,解决办法是只信任来自负载均衡器网段的 X-Forwarded-For;会话乱跳,解决办法是把会话迁到 Redis 等共享存储;健康检查失真,解决办法是编写真正检查应用状态的 /healthz。
请求先经过客户的负载均衡器,再到达你的 NGINX。真实 IP 丢失、会话乱跳和健康检查失真,都可以在 NGINX 这一层解决。

设想你在一家银行驻场的第三天。内部文档问答服务在预发布机器上一直运行顺利。这时基础设施团队发来消息:所有流量都必须经过银行的负载均衡器,没有例外。

切换一小时后,日志里每个请求记录的都是同一个 IP 地址。按 IP 限流的规则把整个部门都挡在了门外,用户还会在对话中途偶尔被登出。代码本身没有问题,问题在于你还不了解客户的网络如何看待你的请求。

这是前线部署工程师(FDE)的日常工作。你很少有机会从零搭建基础设施,而是要把服务塞进一套由别人运维、自有规则的现成系统。要做好这件事,需要分清三样东西:第 4 层负载均衡器、第 7 层负载均衡器和反向代理。

客户的负载均衡器能看到什么?

根据 F5 的术语表,第 4 层负载均衡器依据传输层信息(也就是地址和端口)做路由,不读取数据包内容。它只是把一条 TCP 流交给某台服务器,并不知道里面是什么 URL 或 Cookie。

第 7 层负载均衡器则根据 HTTP 头的特征做决策,例如 URL 或 Cookie。因为它能读 HTTP,所以可以把 /api 发往一个集群,把 /static 发往另一个集群,还可以在把请求转发进去之前插入额外的请求头。

这一点很重要,因为负载均衡器所在的层决定了你的服务能收到什么,比如有没有代理插入的 X-Forwarded-For 头。传输层安全协议(TLS)是另一个问题:不要只凭 L4 或 L7 这两个词去猜。解密发生在负载均衡器还是你的服务上,取决于客户怎么配置,所以必须去问。

反向代理不等于负载均衡器

这两个词经常混用。反向代理接收客户端的请求,再转发给能处理它的服务器;负载均衡器则把请求分发到一组服务器上。所以即使后面只有一台服务器,反向代理依然有用。

即使客户已经有负载均衡器,你也应该在应用前面直接跑一个自己的反向代理,比如 NGINX。这是你能掌控的地方:找回真实 IP、设置超时、响应健康检查。每次需要调整配置时,不必请基础设施团队改他们的设备。

NGINX 适合这个角色,原因在于它的架构。NGINX 工程博客解释说,设计网络应用的常见做法是为每个连接分配一个线程或进程,这会带来上下文切换的开销。

NGINX 选择了事件驱动架构:主进程负责读取配置、绑定端口等特权工作,工作进程承担主要任务。

实例:找回用户的真实 IP

回到银行的场景。现在一个请求的路径是:员工浏览器 → 银行的 L7 负载均衡器 → 你的 NGINX → 应用。连接每经过一个代理,服务器就只能看到最后一个代理的 IP,所以日志里全是负载均衡器的 IP。

解决办法是 X-Forwarded-For 头:代理在把请求转发进去之前,把客户端的原始 IP 写进这个头。应用读取这个头,就能知道真正的调用方是谁。

但 MDN 提醒,如果把这个头用于安全用途,例如限流或基于 IP 的访问控制,就只能采用可信代理添加的 IP。原因是客户端可以自己伪造这个头。

假设基础设施团队告诉你,他们的负载均衡器位于 10.20.0.0/24 网段。NGINX 配置大致如下:

# 仅当请求来自客户的负载均衡器时,才信任 X-Forwarded-For
set_real_ip_from 10.20.0.0/24;
real_ip_header   X-Forwarded-For;
real_ip_recursive on;

upstream app {
    server 127.0.0.1:8000;
}

server {
    listen 80;

    location /healthz {
        proxy_pass http://app;
    }

    location / {
        proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $http_x_forwarded_proto;
        proxy_set_header Host              $host;
        proxy_pass http://app;
    }
}

(第一行注释的意思是:“仅当请求来自客户的负载均衡器时,才信任 X-Forwarded-For。”)

set_real_ip_from 这一行是整份配置中最关键的。没有它,任何人只要发送 X-Forwarded-For: 1.2.3.4,就能冒充他人,绕过你的限流。

有了它,NGINX 只在请求来自负载均衡器网段时才信任这个值。文末的练习会演示如何用 curl 验证这一点。

会话为什么乱跳,粘性会话为什么救不了你

再看登出问题。假设你运行 3 个实例,并按源 IP 做均衡。HAProxy 的架构文档这样描述这种方法:只要服务器数量不变,同一个 IP 总会落到同一台服务器。

看看这两个条件是怎么被打破的。如果按你这一层看到的 IP 做哈希,每个请求带的都是负载均衡器的 IP,3 个实例就退化成 1 个过载的实例。如果下周扩容到 4 个实例,哈希会重新分布,很多用户被分到另一台服务器,丢掉保存在内存里的会话。

更稳妥的做法是应用本身不保存会话。在水平扩展模型中,服务器位于负载均衡器之后,会话存放在所有应用服务器都能访问的共享数据存储中。

在客户现场,这个存储通常是他们已有的 Redis 实例或数据库。同样是银行场景,两种做法的结果如下:

场景 按 IP 粘性分配,会话存内存 会话存共享存储
每个请求都带负载均衡器的 IP 3 个实例退化成 1 个过载实例 任何实例都能读取用户会话
从 3 个实例扩容到 4 个 哈希重新分布,许多用户被登出 用户保持登录

部署日之前的五个步骤

  1. 向基础设施团队问三个问题。 负载均衡器是 L4 还是 L7?TLS 在哪里终止?代理的 IP 网段是什么?这三个答案决定了大部分配置。
  2. 确定由谁处理 TLS。 负载均衡器可以承担加解密,让服务器专注于主要工作。如果客户已经这样做,就读取 X-Forwarded-Proto 判断原始请求是否为 HTTPS,而不是自己配置证书。
  3. 写一个真正做检查的 /healthz。 根据 AWS 文档,Elastic Load Balancing 会检查目标的健康状况,只把请求发给健康的目标。如果应用已经断开数据库连接,端点却始终返回 200,用户就会一直被发往坏掉的实例。
  4. 把会话和临时数据迁到共享存储。 这样客户增减实例时,不会有人被登出。
  5. 约定超时时间。 问清设备的超时设置。调用 LLM 的请求耗时可能超过默认值,中途被切断是极难排查的 bug。

常见错误

最常见的错误是不限制来源、信任所有 X-Forwarded-For,再拿它做限流。第二个错误是开启基于 IP 的粘性会话,却没意识到所有请求看起来都来自同一个地址。

第三个错误是以为有了负载均衡器就不需要反向代理,结果每改一次配置都要等另一个团队处理工单。第四个更难发现:健康检查只确认进程在运行,却不确认应用能否真正处理请求。

对想转岗做 FDE 的开发者来说,这项技能值得在简历里写清楚。不要只写“熟悉 NGINX”,而是描述一次具体经历:你把服务放到现有代理之后,保住了客户端真实 IP,并让服务在多个实例上运行而不丢会话。

当岗位描述提到“客户环境”或“本地化部署”时,面试很可能就会问到这些内容。

练习:试着骗过自己的代理

用上面的配置搭一个 NGINX,放在一个只做一件事的小应用前面:记录客户端 IP。把 set_real_ip_from 设为你当作负载均衡器的那台机器的网段。

在该网段之外的机器上运行 curl -H "X-Forwarded-For: 1.2.3.4" http://<proxy>/。如果日志显示 1.2.3.4,说明代理被骗了;如果显示的是发送方机器的真实 IP,说明配置正确。

然后删掉 set_real_ip_from 这一行,再运行一次命令,对比两条日志。客户的网络你改变不了,但这样一个十分钟的测试,能告诉你服务在其中是否站得住。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 5: 部署上线别再让 API 每天中转 100GB 文件流量用预签名 URL 让用户直传存储,应用只负责授权,其余交给 CDN。