FDE Times 数据在招 FDE 职位 8840 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

vLLM 快 24 倍还是 2-4 倍?关键看基线

24 倍以 HuggingFace Transformers 为基线,对已有像样推理服务的客户引用它,就是过度承诺。

分享微博

要点速览

  • vLLM 出自 UC Berkeley 的 Sky Computing Lab,基于 PagedAttention 构建,自 2025 年 5 月起成为 PyTorch Foundation 项目。
  • vLLM 的服务器兼容 OpenAI API,把现有客户端代码迁到私有化环境,主要只需改端点地址。
  • 24 倍和 2-4 倍都没错,只是基线不同。两个数字都来自 2023 年,客户仍需在自己的负载上做基准测试。
点图在 0 到 25 倍的同一刻度上展示 vLLM 的吞吐量。以 HuggingFace Transformers 为基线,发布博客(2023 年 6 月)给出最高 24 倍;以 2023 年最好的推理服务系统为基线、延迟相同,PagedAttention 论文给出 2-4 倍,以橙色突出显示。
同一引擎,两个性能数字:相对 HuggingFace Transformers 最高 24 倍;相对当时最好的推理服务系统、在相同延迟下为 2-4 倍。来源:vLLM 发布博客(2023 年 6 月);Kwon 等人的 PagedAttention 论文(2023)。

2023 年 6 月,vLLM 的发布博客称其吞吐量最高可达 HuggingFace Transformers 的 24 倍。三个月后,Kwon 等人关于 PagedAttention 的学术论文给出的数字要保守得多:2-4 倍。

两个数字都没错。24 倍以 HuggingFace Transformers 为基线;2-4 倍对比的是当时最好的推理服务系统,且延迟水平相同。

对前线部署工程师(FDE)来说,这个区别有实际影响。假设客户的基础设施团队已经在跑一套像样的推理服务系统,而你带着 24 倍这个数字走进会议室,那你承诺的东西连原始论文都没有承诺。要理解 vLLM,先从它真正优化的是什么说起。

PagedAttention 借用了操作系统的思路

LLM 生成文本时,每个请求都要保存已处理 token 的注意力键和值。这部分显存叫 KV cache。简单说,并发请求越多,需要保存的 KV cache 就越多,所以这块显存的管理方式决定了一台服务器能同时接多少请求。

vLLM 的核心特性是 PagedAttention,一种受操作系统虚拟内存和分页机制启发的注意力算法。操作系统把内存划分成页,PagedAttention 也以同样方式按页管理 KV cache。vLLM 还把它与连续批处理(continuous batching)结合使用。

所以,vLLM 的收益在多用户同时使用时最明显。只有一个人在打字的演示,看不出太大差别。

FDE 什么时候需要 vLLM?

典型场景是客户想在自己的基础设施里运行开放权重模型。这时 vLLM 能同时解决三个问题。

第一是硬件。除 NVIDIA 外,vLLM 官方支持 AMD、Google TPU、AWS Neuron、Intel CPU/XPU/HPU 和 ARM。IBM Spyre、Huawei Ascend 等加速器通过插件系统接入。私有化部署的客户通常已有一批混合硬件,很少能从零挑选。

第二是单机放不下的大模型。官方仓库支持张量并行、流水线并行、数据并行、专家并行和上下文并行,用于分布式推理。

第三是法务。vLLM 采用 Apache-2.0 许可证,自 2025 年 5 月起成为 PyTorch Foundation 项目,治理中立。这两点都让客户的采购和法务团队更容易签字放行。

最小示例:改一个地址,代码不动

设想客户已经有一个原型,通过官方 SDK 调用 OpenAI,但数据不能再离开内网。vLLM 提供兼容 OpenAI 的 API 服务器,还支持 Anthropic Messages API 和 gRPC,因此客户端的改动可以只有一行。下面的代码中,注释说明这是示例:把客户端指向客户内网中的 vLLM 服务器;占位符分别代表内部 vLLM 端点地址和内部密钥:

from openai import OpenAI

# 示例:把客户端指向客户内网中的 vLLM 服务器
client = OpenAI(base_url="INTERNAL_VLLM_ENDPOINT_URL", api_key="INTERNAL_KEY")

提示词逻辑、结果处理和重试机制全都不变。这是说服客户应用团队最有力的理由:他们什么都不用重写。文档还有一个小提醒:Completions 和 Chat API 只适用于文本生成模型,不要打算通过同一路径调用 embedding 模型。

第一天的两个坑

第一个坑是 chat template。文档说得很直白:没有 chat template,服务器就无法处理对话,所有 chat 请求都会报错。从陌生来源下载的开放权重模型,或内部微调的模型,很容易缺少它。要在应用团队接入之前检查,别等他们来报错。

第二个坑只出现在隔离网络(air-gapped)环境中。默认情况下,FastAPI 的 /docs 页面需要联网,在隔离网络中无法渲染。vLLM 提供了一个参数,可以以离线模式提供该页面。提前打开它,就不会花一下午解释“文档页面为什么是空白的”。

接活之前该学什么

先学概念,再学工具。弄清 KV cache 是什么,以及它的管理方式为什么会影响能同时服务的请求数。然后自己搭一个 vLLM 服务器,把 OpenAI 客户端指向它,逐步增加并行请求数并测量吞吐量。

如果你在申请 FDE 岗位,留意职位描述中提到“on-prem”“air-gapped”或“open-weight models”的。简历上写一句“将应用从 OpenAI API 迁移到私有化部署的 vLLM,客户端逻辑零改动,并解决了 chat template 报错”,比“有 LLM 经验”有说服力得多。

向客户引用基准数据时,一定要说明基线,并记住 2-4 倍是 2023 年在当时的主流模型上测得的。你能给出的最好建议,是在承诺任何数字之前,先在客户自己的负载和硬件上做基准测试。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 5: 部署上线Terraform 官方为何不建议用 workspace 分客户需独立凭证的部署不宜用 workspace,而 FDE 客户几乎都是如此;让第五次部署与首次一致的是模块。