vLLM 快 24 倍还是 2-4 倍?关键看基线
24 倍以 HuggingFace Transformers 为基线,对已有像样推理服务的客户引用它,就是过度承诺。
要点速览
- vLLM 出自 UC Berkeley 的 Sky Computing Lab,基于 PagedAttention 构建,自 2025 年 5 月起成为 PyTorch Foundation 项目。
- vLLM 的服务器兼容 OpenAI API,把现有客户端代码迁到私有化环境,主要只需改端点地址。
- 24 倍和 2-4 倍都没错,只是基线不同。两个数字都来自 2023 年,客户仍需在自己的负载上做基准测试。
2023 年 6 月,vLLM 的发布博客称其吞吐量最高可达 HuggingFace Transformers 的 24 倍。三个月后,Kwon 等人关于 PagedAttention 的学术论文给出的数字要保守得多:2-4 倍。
两个数字都没错。24 倍以 HuggingFace Transformers 为基线;2-4 倍对比的是当时最好的推理服务系统,且延迟水平相同。
对前线部署工程师(FDE)来说,这个区别有实际影响。假设客户的基础设施团队已经在跑一套像样的推理服务系统,而你带着 24 倍这个数字走进会议室,那你承诺的东西连原始论文都没有承诺。要理解 vLLM,先从它真正优化的是什么说起。
PagedAttention 借用了操作系统的思路
LLM 生成文本时,每个请求都要保存已处理 token 的注意力键和值。这部分显存叫 KV cache。简单说,并发请求越多,需要保存的 KV cache 就越多,所以这块显存的管理方式决定了一台服务器能同时接多少请求。
vLLM 的核心特性是 PagedAttention,一种受操作系统虚拟内存和分页机制启发的注意力算法。操作系统把内存划分成页,PagedAttention 也以同样方式按页管理 KV cache。vLLM 还把它与连续批处理(continuous batching)结合使用。
所以,vLLM 的收益在多用户同时使用时最明显。只有一个人在打字的演示,看不出太大差别。
FDE 什么时候需要 vLLM?
典型场景是客户想在自己的基础设施里运行开放权重模型。这时 vLLM 能同时解决三个问题。
第一是硬件。除 NVIDIA 外,vLLM 官方支持 AMD、Google TPU、AWS Neuron、Intel CPU/XPU/HPU 和 ARM。IBM Spyre、Huawei Ascend 等加速器通过插件系统接入。私有化部署的客户通常已有一批混合硬件,很少能从零挑选。
第二是单机放不下的大模型。官方仓库支持张量并行、流水线并行、数据并行、专家并行和上下文并行,用于分布式推理。
第三是法务。vLLM 采用 Apache-2.0 许可证,自 2025 年 5 月起成为 PyTorch Foundation 项目,治理中立。这两点都让客户的采购和法务团队更容易签字放行。
最小示例:改一个地址,代码不动
设想客户已经有一个原型,通过官方 SDK 调用 OpenAI,但数据不能再离开内网。vLLM 提供兼容 OpenAI 的 API 服务器,还支持 Anthropic Messages API 和 gRPC,因此客户端的改动可以只有一行。下面的代码中,注释说明这是示例:把客户端指向客户内网中的 vLLM 服务器;占位符分别代表内部 vLLM 端点地址和内部密钥:
from openai import OpenAI
# 示例:把客户端指向客户内网中的 vLLM 服务器
client = OpenAI(base_url="INTERNAL_VLLM_ENDPOINT_URL", api_key="INTERNAL_KEY")
提示词逻辑、结果处理和重试机制全都不变。这是说服客户应用团队最有力的理由:他们什么都不用重写。文档还有一个小提醒:Completions 和 Chat API 只适用于文本生成模型,不要打算通过同一路径调用 embedding 模型。
第一天的两个坑
第一个坑是 chat template。文档说得很直白:没有 chat template,服务器就无法处理对话,所有 chat 请求都会报错。从陌生来源下载的开放权重模型,或内部微调的模型,很容易缺少它。要在应用团队接入之前检查,别等他们来报错。
第二个坑只出现在隔离网络(air-gapped)环境中。默认情况下,FastAPI 的 /docs 页面需要联网,在隔离网络中无法渲染。vLLM 提供了一个参数,可以以离线模式提供该页面。提前打开它,就不会花一下午解释“文档页面为什么是空白的”。
接活之前该学什么
先学概念,再学工具。弄清 KV cache 是什么,以及它的管理方式为什么会影响能同时服务的请求数。然后自己搭一个 vLLM 服务器,把 OpenAI 客户端指向它,逐步增加并行请求数并测量吞吐量。
如果你在申请 FDE 岗位,留意职位描述中提到“on-prem”“air-gapped”或“open-weight models”的。简历上写一句“将应用从 OpenAI API 迁移到私有化部署的 vLLM,客户端逻辑零改动,并解决了 chat template 报错”,比“有 LLM 经验”有说服力得多。
向客户引用基准数据时,一定要说明基线,并记住 2-4 倍是 2023 年在当时的主流模型上测得的。你能给出的最好建议,是在承诺任何数字之前,先在客户自己的负载和硬件上做基准测试。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Welcome to vLLM
- Online Serving
- vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention · 2023-06-20
- Efficient Memory Management for Large Language Model Serving with PagedAttention · 2023-09-12
- PyTorch Foundation Welcomes vLLM as a Hosted Project · 2025-05-06
- vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs