在客户 VPC 里加固 vLLM,只靠 API 密钥不够
分步把 vLLM 部署进私有子网,给出安全团队能签字的端口图,并处理好 GPU 显存。
要点速览
- vLLM 有官方 Docker 镜像 vllm/vllm-openai。容器需要加 --ipc=host 或 --shm-size,才能访问宿主机的共享内存。
- vLLM 安全文档写得很明确:只用 --api-key 不够,内部端口绝不能暴露给不受信任的网络,生产环境不能开启 VLLM_SERVER_DEV_MODE=1。
- KV 缓存不够时,vLLM 会抢占请求,稍后重新计算。张量并行把权重拆到多块 GPU 上,每块 GPU 能留出更多空间给 KV 缓存。
vLLM 的安全文档里有一句话,每个前线部署工程师(FDE)都该贴在显示器上:不要只靠 --api-key 来保护对 vLLM 的访问。很多人起好服务器、加上密钥就算完事。可在银行或工厂的 VPC 里,这只是起点。
对于不允许数据离开内网的客户,生产环境指的是他们的机器、他们的子网和他们的安全评审流程。在自己笔记本上能跑、却过不了安全评审的部署,还算不上部署。
本指南就沿着这条路走:用 Docker 部署 vLLM,用真实 API 调用测试,收紧网络层,处理 GPU 显存,最后把整个过程做成可复现的形式。
读完之后,你会得到一台位于私有子网中的 vLLM 服务器,向内部应用提供 OpenAI 风格的 API,外加一张足够清晰、可以直接交给客户安全团队的端口图。
敲命令之前需要准备什么?
你需要一台 GPU 机器,位于没有公网地址的子网中,装好 Docker 并配置好,让容器能使用 GPU。还需要同一网络中的第二台机器,用来发测试请求。选一个客户获准使用的开放权重模型;下文命令中,模型名放在 $MODEL 变量里。
为方便阅读,这里的命令做了精简。GPU 参数、模型缓存目录的挂载方式和默认端口都会随版本变化,所以在客户现场运行任何命令前,先对照 vLLM 文档中的“Using Docker”和“Online Serving”页面核实一遍。
第 1 步:官方镜像,以及千万别忘的共享内存参数
vLLM 有官方 Docker 镜像 vllm/vllm-openai。用它而不是自己构建,安全团队问出第一个问题“软件从哪来”时,你可以马上回答。
docker pull vllm/vllm-openai
在容器中运行时,vLLM 需要访问宿主机的共享内存。文档给了两个选项:--ipc=host 参数或 --shm-size 参数。运行命令的骨架如下:
# 命令骨架,原样无法运行:
# 缺少让容器访问 GPU 的参数、把 API 端口映射到宿主机的参数
# 以及模型缓存挂载。完整参数请参照“Using Docker”页面。
export MODEL=ten-model-open-weight
docker run --ipc=host vllm/vllm-openai --model "$MODEL"
直说吧:照抄上面的命令,容器看不到 GPU;就算能跑起来,API 端口没映射到宿主机,其他机器也访问不到。本指南希望你记住的是共享内存参数;GPU 和端口参数请严格按你所用 vLLM 版本的说明来。
如果客户的容器隔离策略禁止 --ipc=host,就改用 --shm-size,并在交接文档中写明原因。**检查:**容器日志顺利走完模型加载,没有任何共享内存报错。
第 2 步:用真实请求测试
除了 Docker,也可以直接用 vllm serve 加模型名启动服务器。无论哪种方式,vLLM 都会开启一个兼容 OpenAI 风格接口的 HTTP 服务器。正因如此,客户的应用团队通常不用大改代码,多数时候只需换一下服务器地址。
# 示例:按实际配置设置 VLLM_BASE_URL、VLLM_API_KEY、MODEL
# 例如 VLLM_BASE_URL=http://10.0.1.15:8000/v1(GPU 机器的内网 IP)
import os
from openai import OpenAI
client = OpenAI(
base_url=os.environ["VLLM_BASE_URL"],
api_key=os.environ["VLLM_API_KEY"],
)
resp = client.chat.completions.create(
model=os.environ["MODEL"],
messages=[{"role": "user", "content": "用一句话回答:2 + 2 等于几?"}],
)
print(resp.choices[0].message.content)
**检查:**在同一子网的第二台机器上运行,而不是在 GPU 机器本机上,终端应打印出回答。只通过 localhost 测试,等于网络层什么都没测。
第 3 步:为什么 API 密钥不够?
启动服务器时当然可以加 --api-key,也应该加。但 vLLM 文档说得很清楚:不要单独依赖它。在客户现场,另一层防护通常是客户已有的访问控制设施,比如网关、反向代理或安全组,只放行该放行的应用机器。
内部端口更要紧。分布式运行时,vLLM 会额外使用端口做进程间通信和 KV 缓存传输。文档要求这些端口绝不能暴露给互联网或不受信任的网络,因此必须放在隔离网络中。
交接前还有一项检查:生产环境绝不能开启环境变量 VLLM_SERVER_DEV_MODE=1。在容器内运行 env 查一下,因为它很容易从测试用的配置文件里混进来。
第 4 步:KV 缓存用完会怎样?
KV 缓存没有空间时,vLLM 会抢占部分请求,等空间释放后再重新计算。系统不会崩溃,但用户会看到延迟莫名升高。所以应用团队抱怨“时快时慢”时,先去日志里找抢占的迹象,再怀疑网络。
看一个简化的例子:一块 80 GB 的 GPU,模型权重占 60 GB,留给 KV 缓存和其他用途的只有约 20 GB。开启 2 块 GPU 的张量并行后,权重一分为二:每块 GPU 约占 30 GB,空出约 50 GB。
vLLM 文档描述的正是这一机制:把权重拆到多块 GPU 上,让每块 GPU 有更多显存用于 KV 缓存。具体参数名见“Optimization and Tuning”页面。
但代价同样有明确的数字。
IBM 还提醒,基础设施和维护成本可能吃掉部署预算的大头。FDE 的工作是把延迟和 GPU 数量这两个数字都摆给客户,让客户自己选。
第 5 步:打包成可从零构建的脚本
手动敲完所有命令后,把它们打包成脚本或基础设施配置,从零构建全部内容:镜像、共享内存参数、GPU 配置、网络规则和 dev 模式检查。AWS 认为,自动化模型的创建和部署能缩短上市时间、降低运维成本。
在客户现场,好处更具体:客户 IT 团队在维护窗口后需要重建时,不用打电话找你。
服务器稳定运行后,下一步是监控。IBM 把跟踪模型性能,尤其是模型漂移,视为监控的核心。一开始就和客户约定好:谁看哪些指标,多久看一次。
最常见的错误
| 现象 | 常见原因 | 解决办法 |
|---|---|---|
| 容器加载模型时失败 | 无法访问共享内存 | 加上 --ipc=host 或 --shm-size |
| 安全团队拒绝签字 | 只有 --api-key,内部端口未隔离 |
把 API 放在访问控制层之后,内部端口单独组网 |
| 延迟忽高忽低 | KV 缓存耗尽,请求被抢占 | 查看日志,考虑张量并行或降低负载 |
| 生产环境存在安全风险 | 仍开启 VLLM_SERVER_DEV_MODE=1,违背 vLLM 文档建议 |
删除该变量,在脚本中加入检查 |
这项技能在客户现场和简历上是什么样子?
在真实项目中,大部分时间并不花在 vllm serve 上,而是花在和网络团队开会、只开放一个端口,向安全团队解释内部端口为什么永远不离开隔离网络,以及和掌管预算的人讨论 GPU 数量。
阅读 FDE 岗位描述时,留意“self-hosted LLM”“on-prem”“VPC deployment”“customer environment”这类说法。写简历时,别只写“用过 vLLM”,要写清做了什么:在私有子网中部署 vLLM,为内部端口做网络隔离,用 2 块 GPU 的张量并行处理抢占问题,交付时附带可复现的构建脚本。
下次有人问你是否部署过 LLM,最有分量的回答不是模型名,而是一张你能亲手画出的端口图,以及图上每个箭头背后的理由。
这篇文章对你有帮助吗?
感谢你的反馈!