# 在客户 VPC 里加固 vLLM，只靠 API 密钥不够

> 分步把 vLLM 部署进私有子网，给出安全团队能签字的端口图，并处理好 GPU 显存。

原文: https://fdetimes.net/zh/guides/deploy-vllm-customer-vpc-securely/

vLLM 的安全文档里有一句话，每个前线部署工程师（FDE）都该贴在显示器上：不要只靠 `--api-key` 来保护对 vLLM 的访问。很多人起好服务器、加上密钥就算完事。可在银行或工厂的 VPC 里，这只是起点。

对于不允许数据离开内网的客户，生产环境指的是他们的机器、他们的子网和他们的安全评审流程。在自己笔记本上能跑、却过不了安全评审的部署，还算不上部署。

本指南就沿着这条路走：用 Docker 部署 vLLM，用真实 API 调用测试，收紧网络层，处理 GPU 显存，最后把整个过程做成可复现的形式。

读完之后，你会得到一台位于私有子网中的 vLLM 服务器，向内部应用提供 OpenAI 风格的 API，外加一张足够清晰、可以直接交给客户安全团队的端口图。

## 敲命令之前需要准备什么？

你需要一台 GPU 机器，位于没有公网地址的子网中，装好 Docker 并配置好，让容器能使用 GPU。还需要同一网络中的第二台机器，用来发测试请求。选一个客户获准使用的开放权重模型；下文命令中，模型名放在 `$MODEL` 变量里。

为方便阅读，这里的命令做了精简。GPU 参数、模型缓存目录的挂载方式和默认端口都会随版本变化，所以在客户现场运行任何命令前，先对照 vLLM 文档中的“Using Docker”和“Online Serving”页面核实一遍。

## 第 1 步：官方镜像，以及千万别忘的共享内存参数

vLLM 有官方 Docker 镜像 `vllm/vllm-openai`。用它而不是自己构建，安全团队问出第一个问题“软件从哪来”时，你可以马上回答。

```bash
docker pull vllm/vllm-openai
```

在容器中运行时，vLLM 需要访问宿主机的共享内存。文档给了两个选项：`--ipc=host` 参数或 `--shm-size` 参数。运行命令的骨架如下：

```bash
# 命令骨架，原样无法运行：
# 缺少让容器访问 GPU 的参数、把 API 端口映射到宿主机的参数
# 以及模型缓存挂载。完整参数请参照“Using Docker”页面。
export MODEL=ten-model-open-weight
docker run --ipc=host vllm/vllm-openai --model "$MODEL"
```

直说吧：照抄上面的命令，容器看不到 GPU；就算能跑起来，API 端口没映射到宿主机，其他机器也访问不到。本指南希望你记住的是共享内存参数；GPU 和端口参数请严格按你所用 vLLM 版本的说明来。

如果客户的容器隔离策略禁止 `--ipc=host`，就改用 `--shm-size`，并在交接文档中写明原因。**检查：**容器日志顺利走完模型加载，没有任何共享内存报错。

## 第 2 步：用真实请求测试

除了 Docker，也可以直接用 `vllm serve` 加模型名启动服务器。无论哪种方式，vLLM 都会开启一个兼容 OpenAI 风格接口的 HTTP 服务器。正因如此，客户的应用团队通常不用大改代码，多数时候只需换一下服务器地址。

```python
# 示例：按实际配置设置 VLLM_BASE_URL、VLLM_API_KEY、MODEL
# 例如 VLLM_BASE_URL=http://10.0.1.15:8000/v1（GPU 机器的内网 IP）
import os
from openai import OpenAI

client = OpenAI(
    base_url=os.environ["VLLM_BASE_URL"],
    api_key=os.environ["VLLM_API_KEY"],
)

resp = client.chat.completions.create(
    model=os.environ["MODEL"],
    messages=[{"role": "user", "content": "用一句话回答：2 + 2 等于几？"}],
)
print(resp.choices[0].message.content)
```

**检查：**在同一子网的第二台机器上运行，而不是在 GPU 机器本机上，终端应打印出回答。只通过 localhost 测试，等于网络层什么都没测。

## 第 3 步：为什么 API 密钥不够？

启动服务器时当然可以加 `--api-key`，也应该加。但 vLLM 文档说得很清楚：不要单独依赖它。在客户现场，另一层防护通常是客户已有的访问控制设施，比如网关、反向代理或安全组，只放行该放行的应用机器。

内部端口更要紧。分布式运行时，vLLM 会额外使用端口做进程间通信和 KV 缓存传输。文档要求这些端口绝不能暴露给互联网或不受信任的网络，因此必须放在隔离网络中。

**要点:** 只有一个 API 端口穿过客户的防护层；vLLM 的其他所有端口都必须留在隔离网络中。

交接前还有一项检查：生产环境绝不能开启环境变量 `VLLM_SERVER_DEV_MODE=1`。在容器内运行 `env` 查一下，因为它很容易从测试用的配置文件里混进来。

## 第 4 步：KV 缓存用完会怎样？

KV 缓存没有空间时，vLLM 会抢占部分请求，等空间释放后再重新计算。系统不会崩溃，但用户会看到延迟莫名升高。所以应用团队抱怨“时快时慢”时，先去日志里找抢占的迹象，再怀疑网络。

看一个简化的例子：一块 80 GB 的 GPU，模型权重占 60 GB，留给 KV 缓存和其他用途的只有约 20 GB。开启 2 块 GPU 的张量并行后，权重一分为二：每块 GPU 约占 30 GB，空出约 50 GB。

vLLM 文档描述的正是这一机制：把权重拆到多块 GPU 上，让每块 GPU 有更多显存用于 KV 缓存。具体参数名见“Optimization and Tuning”页面。

但代价同样有明确的数字。

IBM 还提醒，基础设施和维护成本可能吃掉部署预算的大头。FDE 的工作是把延迟和 GPU 数量这两个数字都摆给客户，让客户自己选。

## 第 5 步：打包成可从零构建的脚本

手动敲完所有命令后，把它们打包成脚本或基础设施配置，从零构建全部内容：镜像、共享内存参数、GPU 配置、网络规则和 dev 模式检查。AWS 认为，自动化模型的创建和部署能缩短上市时间、降低运维成本。

在客户现场，好处更具体：客户 IT 团队在维护窗口后需要重建时，不用打电话找你。

服务器稳定运行后，下一步是监控。IBM 把跟踪模型性能，尤其是模型漂移，视为监控的核心。一开始就和客户约定好：谁看哪些指标，多久看一次。

## 最常见的错误

| 现象 | 常见原因 | 解决办法 |
|---|---|---|
| 容器加载模型时失败 | 无法访问共享内存 | 加上 `--ipc=host` 或 `--shm-size` |
| 安全团队拒绝签字 | 只有 `--api-key`，内部端口未隔离 | 把 API 放在访问控制层之后，内部端口单独组网 |
| 延迟忽高忽低 | KV 缓存耗尽，请求被抢占 | 查看日志，考虑张量并行或降低负载 |
| 生产环境存在安全风险 | 仍开启 `VLLM_SERVER_DEV_MODE=1`，违背 vLLM 文档建议 | 删除该变量，在脚本中加入检查 |

## 这项技能在客户现场和简历上是什么样子？

在真实项目中，大部分时间并不花在 `vllm serve` 上，而是花在和网络团队开会、只开放一个端口，向安全团队解释内部端口为什么永远不离开隔离网络，以及和掌管预算的人讨论 GPU 数量。

阅读 FDE 岗位描述时，留意“self-hosted LLM”“on-prem”“VPC deployment”“customer environment”这类说法。写简历时，别只写“用过 vLLM”，要写清做了什么：在私有子网中部署 vLLM，为内部端口做网络隔离，用 2 块 GPU 的张量并行处理抢占问题，交付时附带可复现的构建脚本。

下次有人问你是否部署过 LLM，最有分量的回答不是模型名，而是一张你能亲手画出的端口图，以及图上每个箭头背后的理由。

**本周动手试试:**

- 在私有子网中租一台 GPU 机器，用 --ipc=host 运行 vllm/vllm-openai，再从同一网络的另一台机器运行那段 Python chat.completions 代码。
- 为这次部署写一页“端口图”：哪个端口接受入站调用，经过哪几层，哪些端口只留在隔离网络中。
- 把所有构建命令打包成可从零运行的脚本，然后在简历上加一行，准确描述你做了什么。

## 信源

- [What Is Model Deployment?](https://www.ibm.com/think/topics/model-deployment)

- [What is MLOps? - Machine Learning Operations Explained](https://aws.amazon.com/what-is/mlops/)

- [vLLM docs: Using Docker](https://docs.vllm.ai/en/latest/deployment/docker/)

- [vLLM docs: Online Serving (OpenAI-compatible server)](https://docs.vllm.ai/en/latest/serving/online_serving/)

- [vLLM docs: Security](https://docs.vllm.ai/en/latest/usage/security/)

- [vLLM docs: Optimization and Tuning](https://docs.vllm.ai/en/latest/configuration/optimization/)
