# vLLM 快 24 倍还是 2-4 倍？关键看基线

> 24 倍以 HuggingFace Transformers 为基线，对已有像样推理服务的客户引用它，就是过度承诺。

原文: https://fdetimes.net/zh/tools/vllm-open-weight-serving-on-prem/

2023 年 6 月，vLLM 的发布博客称其吞吐量最高可达 HuggingFace Transformers 的 24 倍。三个月后，Kwon 等人关于 PagedAttention 的学术论文给出的数字要保守得多：2-4 倍。

两个数字都没错。24 倍以 HuggingFace Transformers 为基线；2-4 倍对比的是当时最好的推理服务系统，且延迟水平相同。

对前线部署工程师（FDE）来说，这个区别有实际影响。假设客户的基础设施团队已经在跑一套像样的推理服务系统，而你带着 24 倍这个数字走进会议室，那你承诺的东西连原始论文都没有承诺。要理解 vLLM，先从它真正优化的是什么说起。

## PagedAttention 借用了操作系统的思路

LLM 生成文本时，每个请求都要保存已处理 token 的注意力键和值。这部分显存叫 KV cache。简单说，并发请求越多，需要保存的 KV cache 就越多，所以这块显存的管理方式决定了一台服务器能同时接多少请求。

vLLM 的核心特性是 PagedAttention，一种受操作系统虚拟内存和分页机制启发的注意力算法。操作系统把内存划分成页，PagedAttention 也以同样方式按页管理 KV cache。vLLM 还把它与连续批处理（continuous batching）结合使用。

所以，vLLM 的收益在多用户同时使用时最明显。只有一个人在打字的演示，看不出太大差别。

## FDE 什么时候需要 vLLM？

典型场景是客户想在自己的基础设施里运行开放权重模型。这时 vLLM 能同时解决三个问题。

第一是硬件。除 NVIDIA 外，vLLM 官方支持 AMD、Google TPU、AWS Neuron、Intel CPU/XPU/HPU 和 ARM。IBM Spyre、Huawei Ascend 等加速器通过插件系统接入。私有化部署的客户通常已有一批混合硬件，很少能从零挑选。

第二是单机放不下的大模型。官方仓库支持张量并行、流水线并行、数据并行、专家并行和上下文并行，用于分布式推理。

第三是法务。vLLM 采用 Apache-2.0 许可证，自 2025 年 5 月起成为 PyTorch Foundation 项目，治理中立。这两点都让客户的采购和法务团队更容易签字放行。

## 最小示例：改一个地址，代码不动

设想客户已经有一个原型，通过官方 SDK 调用 OpenAI，但数据不能再离开内网。vLLM 提供兼容 OpenAI 的 API 服务器，还支持 Anthropic Messages API 和 gRPC，因此客户端的改动可以只有一行。下面的代码中，注释说明这是示例：把客户端指向客户内网中的 vLLM 服务器；占位符分别代表内部 vLLM 端点地址和内部密钥：

```python
from openai import OpenAI

# 示例：把客户端指向客户内网中的 vLLM 服务器
client = OpenAI(base_url="INTERNAL_VLLM_ENDPOINT_URL", api_key="INTERNAL_KEY")
```

提示词逻辑、结果处理和重试机制全都不变。这是说服客户应用团队最有力的理由：他们什么都不用重写。文档还有一个小提醒：Completions 和 Chat API 只适用于文本生成模型，不要打算通过同一路径调用 embedding 模型。

**要点:** 在客户现场，vLLM 最大的价值往往不是速度，而是迁到私有化环境时现有代码无需重写。

## 第一天的两个坑

第一个坑是 chat template。文档说得很直白：没有 chat template，服务器就无法处理对话，所有 chat 请求都会报错。从陌生来源下载的开放权重模型，或内部微调的模型，很容易缺少它。要在应用团队接入之前检查，别等他们来报错。

第二个坑只出现在隔离网络（air-gapped）环境中。默认情况下，FastAPI 的 `/docs` 页面需要联网，在隔离网络中无法渲染。vLLM 提供了一个参数，可以以离线模式提供该页面。提前打开它，就不会花一下午解释“文档页面为什么是空白的”。

## 接活之前该学什么

先学概念，再学工具。弄清 KV cache 是什么，以及它的管理方式为什么会影响能同时服务的请求数。然后自己搭一个 vLLM 服务器，把 OpenAI 客户端指向它，逐步增加并行请求数并测量吞吐量。

如果你在申请 FDE 岗位，留意职位描述中提到“on-prem”“air-gapped”或“open-weight models”的。简历上写一句“将应用从 OpenAI API 迁移到私有化部署的 vLLM，客户端逻辑零改动，并解决了 chat template 报错”，比“有 LLM 经验”有说服力得多。

向客户引用基准数据时，一定要说明基线，并记住 2-4 倍是 2023 年在当时的主流模型上测得的。你能给出的最好建议，是在承诺任何数字之前，先在客户自己的负载和硬件上做基准测试。

**本周动手试试:**

- 用一个小型开放权重模型运行 vLLM，再把一个使用 OpenAI SDK 的脚本指向该端点，只改地址。
- 故意选一个没有 chat template 的模型，发送 chat 请求并阅读报错信息，以便日后一眼认出这个症状。
- 阅读 PagedAttention 论文的评测部分，记下基线，再向客户引用任何数字。

## 信源

- [Welcome to vLLM](https://docs.vllm.ai/en/latest/)

- [Online Serving](https://docs.vllm.ai/en/latest/serving/online_serving/)

- [vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention](https://vllm.ai/blog/2023-06-20-vllm)

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180)

- [PyTorch Foundation Welcomes vLLM as a Hosted Project](https://pytorch.org/blog/pytorch-foundation-welcomes-vllm/)

- [vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs](https://github.com/vllm-project/vllm)
