用 LiteLLM Proxy 把一张 LLM 账单拆给三个客户
每个客户一个虚拟密钥,模型、预算、限流各自独立,服务商真实密钥始终留在自托管网关内。
要点速览
- LiteLLM Proxy 是自托管服务器,用一个兼容 OpenAI 的端点调用 100 多家 LLM 服务商,采用 MIT 许可证。
- 每个虚拟密钥都有独立的模型、预算和限流;设置 team_id 后,多个密钥可共用同一客户的预算。
- 网关按密钥、用户和团队记录每次请求的成本。没有设置重置周期的预算永远不会重置。
每月的 LLM 账单通常只有一个数字。对同时服务三个客户(或一个客户的三个部门)的前线部署工程师(FDE)来说,这个数字几乎没有用:没人知道哪部分该算在谁头上,也没有任何机制能拦住半夜陷入死循环的 Agent。
LiteLLM Proxy 正是为这个问题而生。官方文档将其描述为一个自托管服务器,为应用提供一个兼容 OpenAI 的端点,可调用 100 多家 LLM 服务商,还支持 MCP 工具和 A2A Agent。GitHub 上的 BerriAI/litellm 仓库称它为开源 AI Gateway,PyPI 上的包采用 MIT 许可证。
对 FDE 而言,它的价值不在于能调用很多模型,而在于网关把成本和访问权限变成了可以按客户提前配置的东西,赶在出问题之前。
为什么不直接分发原始 API 密钥?
把服务商的 API 密钥直接交给每个应用,等于从第一天起就失去了控制。原始密钥不知道是哪个应用在用它,自身没有支出上限,一旦吊销,所有应用会同时停摆。
LiteLLM 的虚拟密钥把这一层隔离开来。文档写明,每个密钥都有独立的模型列表、预算和限流,并且会按密钥自动追踪支出。
README 列出的内置功能包括虚拟密钥、支出追踪、护栏(guardrails)、负载均衡和管理后台。应用只持有虚拟密钥,服务商的密钥始终留在网关内。
示例:三个客户,一个网关
假设你在一家服务公司工作,为 A、B、C 三个客户运行聊天机器人。每个客户有两个应用:一个聊天机器人,一个在夜间汇总文档的任务。
合理的做法是每个客户一个团队,每个应用一个虚拟密钥。LiteLLM 文档允许为虚拟密钥绑定 team_id,让该密钥使用团队的共享预算;没有 team_id 的密钥则是个人密钥。
这样,客户 A 的两个应用从同一份预算中支出,成本仍按密钥拆分,你能看出夜间任务到底花了多少。
由于端点兼容 OpenAI,应用侧几乎不用改动。下面的示例使用了占位的地址和模型名:
from openai import OpenAI
client = OpenAI(
base_url="https://llm-gateway.internal.example", # 网关地址,示例
api_key="VIRTUAL_KEY_FOR_CLIENT_A_CHATBOT",
)
resp = client.chat.completions.create(
model="allowed-model-name",
messages=[{"role": "user", "content": "总结这份合同"}],
user="end-user-1024", # 便于网关按终端用户归集成本
)
(两条注释分别说明“网关地址,占位”和“便于网关按终端用户归集成本”;提示词要求模型总结一份合同。)
需要留意的是 user 参数。支出追踪文档指出,成本可以按密钥、用户和团队追踪,而终端用户维度依赖请求中的 user 参数,其明确用途是向其他团队、客户或用户计费。
网关会记录每次请求的成本,到了月底,你手里就有三个层级的数据:哪个客户、哪个应用、哪个终端用户。
预算必须配上重置周期才安全
LiteLLM 官网介绍了多个层级(密钥、团队、组织和模型)的硬预算,支持按天和按月重置,达到上限后拦截请求。有了它,你就不会在凌晨接到“Agent 停不下来”的电话。
不过这里有个小陷阱。文档说明,预算在你指定的周期结束时重置;如果不指定周期,预算永远不会重置。
假设你给客户 B 设了上限,却忘了设周期。第一个月一切正常。一旦达到上限,团队 B 的所有密钥都会被拦截,并且一直如此,直到有人手动修复。
因此,为客户创建团队时,第一件事就是显式设置重置周期,然后在测试环境里让某个密钥触顶,看看应用会收到什么错误、又会向用户显示什么。
需要提前和客户讲清的限制
自托管既是优势,也是负担。网关位于每一次 LLM 请求的必经之路上,它就是你或客户的基础设施:必须有人负责运行、监控和升级。
版本迭代也非常快:PyPI 上 litellm 的最新版本是 1.104.2,发布于 2026 年 10 月 8 日。在客户现场,应锁定固定版本,重新跑完自己的测试套件后再升级。
最后,只有所有应用都一致地传入 user 参数,按终端用户统计的数据才准确。这是对应用团队的纪律要求,网关猜不出来。
先学什么,简历上写什么
合理的顺序是:先让 Proxy 接通一家服务商跑起来,创建一个只能访问特定模型的虚拟密钥,再逐步上手团队、带重置周期的预算和按用户的成本报表。负载均衡和护栏可以等成本问题解决之后再说。
阅读 FDE 岗位描述时,如果出现“multi-tenant”“cost attribution”或“LLM gateway”等字眼,说明工作内容会直接涉及这一块。在简历上,一句具体的“搭建自托管 LLM 网关,用虚拟密钥和团队为 3 个客户拆分预算和成本”,比罗列一串框架更有说服力。
客户很少问你用的是哪个模型。他们问的是这个月花了多少钱,为什么。有了网关,你可以用数据回答,而不是靠猜。
这篇文章对你有帮助吗?
感谢你的反馈!