# 客户负载均衡器之后，所有请求都是同一个 IP

> 真实 IP 丢失、会话乱跳、健康检查失真，根源都在 L4、L7 和反向代理各自看到了什么。

原文: https://fdetimes.net/zh/guides/l4-l7-load-balancer-reverse-proxy/

设想你在一家银行驻场的第三天。内部文档问答服务在预发布机器上一直运行顺利。这时基础设施团队发来消息：所有流量都必须经过银行的负载均衡器，没有例外。

切换一小时后，日志里每个请求记录的都是同一个 IP 地址。按 IP 限流的规则把整个部门都挡在了门外，用户还会在对话中途偶尔被登出。代码本身没有问题，问题在于你还不了解客户的网络如何看待你的请求。

这是前线部署工程师（FDE）的日常工作。你很少有机会从零搭建基础设施，而是要把服务塞进一套由别人运维、自有规则的现成系统。要做好这件事，需要分清三样东西：第 4 层负载均衡器、第 7 层负载均衡器和反向代理。

## 客户的负载均衡器能看到什么？

根据 F5 的术语表，第 4 层负载均衡器依据传输层信息（也就是地址和端口）做路由，不读取数据包内容。它只是把一条 TCP 流交给某台服务器，并不知道里面是什么 URL 或 Cookie。

第 7 层负载均衡器则根据 HTTP 头的特征做决策，例如 URL 或 Cookie。因为它能读 HTTP，所以可以把 `/api` 发往一个集群，把 `/static` 发往另一个集群，还可以在把请求转发进去之前插入额外的请求头。

这一点很重要，因为负载均衡器所在的层决定了你的服务能收到什么，比如有没有代理插入的 `X-Forwarded-For` 头。传输层安全协议（TLS）是另一个问题：不要只凭 L4 或 L7 这两个词去猜。解密发生在负载均衡器还是你的服务上，取决于客户怎么配置，所以必须去问。

## 反向代理不等于负载均衡器

这两个词经常混用。反向代理接收客户端的请求，再转发给能处理它的服务器；负载均衡器则把请求分发到一组服务器上。所以即使后面只有一台服务器，反向代理依然有用。

即使客户已经有负载均衡器，你也应该在应用前面直接跑一个自己的反向代理，比如 NGINX。这是你能掌控的地方：找回真实 IP、设置超时、响应健康检查。每次需要调整配置时，不必请基础设施团队改他们的设备。

NGINX 适合这个角色，原因在于它的架构。NGINX 工程博客解释说，设计网络应用的常见做法是为每个连接分配一个线程或进程，这会带来上下文切换的开销。

NGINX 选择了事件驱动架构：主进程负责读取配置、绑定端口等特权工作，工作进程承担主要任务。

**要点:** 代码没有 bug，服务照样可能出问题，只因为你不清楚客户的网络看到了什么。

## 实例：找回用户的真实 IP

回到银行的场景。现在一个请求的路径是：员工浏览器 → 银行的 L7 负载均衡器 → 你的 NGINX → 应用。连接每经过一个代理，服务器就只能看到最后一个代理的 IP，所以日志里全是负载均衡器的 IP。

解决办法是 `X-Forwarded-For` 头：代理在把请求转发进去之前，把客户端的原始 IP 写进这个头。应用读取这个头，就能知道真正的调用方是谁。

但 MDN 提醒，如果把这个头用于安全用途，例如限流或基于 IP 的访问控制，就只能采用可信代理添加的 IP。原因是客户端可以自己伪造这个头。

假设基础设施团队告诉你，他们的负载均衡器位于 `10.20.0.0/24` 网段。NGINX 配置大致如下：

```nginx
# 仅当请求来自客户的负载均衡器时，才信任 X-Forwarded-For
set_real_ip_from 10.20.0.0/24;
real_ip_header   X-Forwarded-For;
real_ip_recursive on;

upstream app {
    server 127.0.0.1:8000;
}

server {
    listen 80;

    location /healthz {
        proxy_pass http://app;
    }

    location / {
        proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $http_x_forwarded_proto;
        proxy_set_header Host              $host;
        proxy_pass http://app;
    }
}
```

（第一行注释的意思是：“仅当请求来自客户的负载均衡器时，才信任 X-Forwarded-For。”）

`set_real_ip_from` 这一行是整份配置中最关键的。没有它，任何人只要发送 `X-Forwarded-For: 1.2.3.4`，就能冒充他人，绕过你的限流。

有了它，NGINX 只在请求来自负载均衡器网段时才信任这个值。文末的练习会演示如何用 `curl` 验证这一点。

## 会话为什么乱跳，粘性会话为什么救不了你

再看登出问题。假设你运行 3 个实例，并按源 IP 做均衡。HAProxy 的架构文档这样描述这种方法：只要服务器数量不变，同一个 IP 总会落到同一台服务器。

看看这两个条件是怎么被打破的。如果按你这一层看到的 IP 做哈希，每个请求带的都是负载均衡器的 IP，3 个实例就退化成 1 个过载的实例。如果下周扩容到 4 个实例，哈希会重新分布，很多用户被分到另一台服务器，丢掉保存在内存里的会话。

更稳妥的做法是应用本身不保存会话。在水平扩展模型中，服务器位于负载均衡器之后，会话存放在所有应用服务器都能访问的共享数据存储中。

在客户现场，这个存储通常是他们已有的 Redis 实例或数据库。同样是银行场景，两种做法的结果如下：

| 场景 | 按 IP 粘性分配，会话存内存 | 会话存共享存储 |
|---|---|---|
| 每个请求都带负载均衡器的 IP | 3 个实例退化成 1 个过载实例 | 任何实例都能读取用户会话 |
| 从 3 个实例扩容到 4 个 | 哈希重新分布，许多用户被登出 | 用户保持登录 |

## 部署日之前的五个步骤

1. **向基础设施团队问三个问题。** 负载均衡器是 L4 还是 L7？TLS 在哪里终止？代理的 IP 网段是什么？这三个答案决定了大部分配置。
2. **确定由谁处理 TLS。** 负载均衡器可以承担加解密，让服务器专注于主要工作。如果客户已经这样做，就读取 `X-Forwarded-Proto` 判断原始请求是否为 HTTPS，而不是自己配置证书。
3. **写一个真正做检查的 `/healthz`。** 根据 AWS 文档，Elastic Load Balancing 会检查目标的健康状况，只把请求发给健康的目标。如果应用已经断开数据库连接，端点却始终返回 200，用户就会一直被发往坏掉的实例。
4. **把会话和临时数据迁到共享存储。** 这样客户增减实例时，不会有人被登出。
5. **约定超时时间。** 问清设备的超时设置。调用 LLM 的请求耗时可能超过默认值，中途被切断是极难排查的 bug。

## 常见错误

最常见的错误是不限制来源、信任所有 `X-Forwarded-For`，再拿它做限流。第二个错误是开启基于 IP 的粘性会话，却没意识到所有请求看起来都来自同一个地址。

第三个错误是以为有了负载均衡器就不需要反向代理，结果每改一次配置都要等另一个团队处理工单。第四个更难发现：健康检查只确认进程在运行，却不确认应用能否真正处理请求。

对想转岗做 FDE 的开发者来说，这项技能值得在简历里写清楚。不要只写“熟悉 NGINX”，而是描述一次具体经历：你把服务放到现有代理之后，保住了客户端真实 IP，并让服务在多个实例上运行而不丢会话。

当岗位描述提到“客户环境”或“本地化部署”时，面试很可能就会问到这些内容。

## 练习：试着骗过自己的代理

用上面的配置搭一个 NGINX，放在一个只做一件事的小应用前面：记录客户端 IP。把 `set_real_ip_from` 设为你当作负载均衡器的那台机器的网段。

在该网段之外的机器上运行 `curl -H "X-Forwarded-For: 1.2.3.4" http:///`。如果日志显示 `1.2.3.4`，说明代理被骗了；如果显示的是发送方机器的真实 IP，说明配置正确。

然后删掉 `set_real_ip_from` 这一行，再运行一次命令，对比两条日志。客户的网络你改变不了，但这样一个十分钟的测试，能告诉你服务在其中是否站得住。

**本周动手试试:**

- 在一个小应用前搭好 NGINX，记录客户端 IP，再发送一个伪造 X-Forwarded-For 头的请求，看应用是否会被骗
- 首次部署前，为客户的基础设施团队拟好四个问题：负载均衡器是 L4 还是 L7，TLS 在哪里终止，代理的 IP 网段是什么，默认超时是多少
- 把一个旧项目的会话迁到 Redis，再在负载均衡器之后运行 2 个实例，检查用户是否会被登出

## 信源

- [Layer 4 Load Balancing (F5 Glossary)](https://www.f5.com/glossary/layer-4-load-balancing)

- [Reverse Proxy (F5/NGINX Glossary)](https://www.f5.com/glossary/reverse-proxy)

- [Inside NGINX: How We Designed for Performance & Scale](https://blog.nginx.org/?p=5201)

- [HAProxy Architecture Guide](http://www.haproxy.org/download/1.2/doc/architecture.txt)

- [X-Forwarded-For header - HTTP | MDN](https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/X-Forwarded-For)

- [Scalability for Dummies](https://cs.fyi/guide/scalability-for-dummies)

- [What is Elastic Load Balancing? (AWS Docs)](https://docs.aws.amazon.com/elasticloadbalancing/latest/userguide/what-is-load-balancing.html)
