# 用 LiteLLM Proxy 把一张 LLM 账单拆给三个客户

> 每个客户一个虚拟密钥，模型、预算、限流各自独立，服务商真实密钥始终留在自托管网关内。

原文: https://fdetimes.net/zh/tools/litellm-proxy-virtual-keys-budgets/

每月的 LLM 账单通常只有一个数字。对同时服务三个客户（或一个客户的三个部门）的前线部署工程师（FDE）来说，这个数字几乎没有用：没人知道哪部分该算在谁头上，也没有任何机制能拦住半夜陷入死循环的 Agent。

LiteLLM Proxy 正是为这个问题而生。官方文档将其描述为一个自托管服务器，为应用提供一个兼容 OpenAI 的端点，可调用 100 多家 LLM 服务商，还支持 MCP 工具和 A2A Agent。GitHub 上的 BerriAI/litellm 仓库称它为开源 AI Gateway，PyPI 上的包采用 MIT 许可证。

对 FDE 而言，它的价值不在于能调用很多模型，而在于网关把成本和访问权限变成了可以按客户提前配置的东西，赶在出问题之前。

## 为什么不直接分发原始 API 密钥？

把服务商的 API 密钥直接交给每个应用，等于从第一天起就失去了控制。原始密钥不知道是哪个应用在用它，自身没有支出上限，一旦吊销，所有应用会同时停摆。

LiteLLM 的虚拟密钥把这一层隔离开来。文档写明，每个密钥都有独立的模型列表、预算和限流，并且会按密钥自动追踪支出。

README 列出的内置功能包括虚拟密钥、支出追踪、护栏（guardrails）、负载均衡和管理后台。应用只持有虚拟密钥，服务商的密钥始终留在网关内。

## 示例：三个客户，一个网关

假设你在一家服务公司工作，为 A、B、C 三个客户运行聊天机器人。每个客户有两个应用：一个聊天机器人，一个在夜间汇总文档的任务。

合理的做法是每个客户一个团队，每个应用一个虚拟密钥。LiteLLM 文档允许为虚拟密钥绑定 team_id，让该密钥使用团队的共享预算；没有 team_id 的密钥则是个人密钥。

这样，客户 A 的两个应用从同一份预算中支出，成本仍按密钥拆分，你能看出夜间任务到底花了多少。

由于端点兼容 OpenAI，应用侧几乎不用改动。下面的示例使用了占位的地址和模型名：

```python
from openai import OpenAI

client = OpenAI(
    base_url="https://llm-gateway.internal.example",  # 网关地址，示例
    api_key="VIRTUAL_KEY_FOR_CLIENT_A_CHATBOT",
)

resp = client.chat.completions.create(
    model="allowed-model-name",
    messages=[{"role": "user", "content": "总结这份合同"}],
    user="end-user-1024",  # 便于网关按终端用户归集成本
)
```

（两条注释分别说明“网关地址，占位”和“便于网关按终端用户归集成本”；提示词要求模型总结一份合同。）

需要留意的是 user 参数。支出追踪文档指出，成本可以按密钥、用户和团队追踪，而终端用户维度依赖请求中的 user 参数，其明确用途是向其他团队、客户或用户计费。

网关会记录每次请求的成本，到了月底，你手里就有三个层级的数据：哪个客户、哪个应用、哪个终端用户。

## 预算必须配上重置周期才安全

LiteLLM 官网介绍了多个层级（密钥、团队、组织和模型）的硬预算，支持按天和按月重置，达到上限后拦截请求。有了它，你就不会在凌晨接到“Agent 停不下来”的电话。

不过这里有个小陷阱。文档说明，预算在你指定的周期结束时重置；如果不指定周期，预算永远不会重置。

假设你给客户 B 设了上限，却忘了设周期。第一个月一切正常。一旦达到上限，团队 B 的所有密钥都会被拦截，并且一直如此，直到有人手动修复。

**要点:** 没有重置周期的预算，用完一次就会永久锁死应用。

因此，为客户创建团队时，第一件事就是显式设置重置周期，然后在测试环境里让某个密钥触顶，看看应用会收到什么错误、又会向用户显示什么。

## 需要提前和客户讲清的限制

自托管既是优势，也是负担。网关位于每一次 LLM 请求的必经之路上，它就是你或客户的基础设施：必须有人负责运行、监控和升级。

版本迭代也非常快：PyPI 上 litellm 的最新版本是 1.104.2，发布于 2026 年 10 月 8 日。在客户现场，应锁定固定版本，重新跑完自己的测试套件后再升级。

最后，只有所有应用都一致地传入 user 参数，按终端用户统计的数据才准确。这是对应用团队的纪律要求，网关猜不出来。

## 先学什么，简历上写什么

合理的顺序是：先让 Proxy 接通一家服务商跑起来，创建一个只能访问特定模型的虚拟密钥，再逐步上手团队、带重置周期的预算和按用户的成本报表。负载均衡和护栏可以等成本问题解决之后再说。

阅读 FDE 岗位描述时，如果出现“multi-tenant”“cost attribution”或“LLM gateway”等字眼，说明工作内容会直接涉及这一块。在简历上，一句具体的“搭建自托管 LLM 网关，用虚拟密钥和团队为 3 个客户拆分预算和成本”，比罗列一串框架更有说服力。

客户很少问你用的是哪个模型。他们问的是这个月花了多少钱，为什么。有了网关，你可以用数据回答，而不是靠猜。

**本周动手试试:**

- 在本机运行 LiteLLM Proxy，创建两个团队分别代表两个客户，各自配置按月重置的预算。
- 把一个使用 OpenAI SDK 的脚本指向网关，带上 user 参数发送请求，然后查看按密钥和按用户记录的成本。
- 给某个密钥设一个很小的预算，反复调用直到被拦截，弄清应用触顶时会收到什么错误。

## 信源

- [LiteLLM AI Gateway | liteLLM](https://docs.litellm.ai/docs/simple_proxy)

- [Virtual Keys | liteLLM](https://docs.litellm.ai/docs/proxy/virtual_keys)

- [Budgets, Rate Limits | liteLLM](https://docs.litellm.ai/docs/proxy/users)

- [Spend Tracking | liteLLM](https://docs.litellm.ai/docs/proxy/cost_tracking)

- [GitHub - BerriAI/litellm: The fastest, litest AI Gateway.](https://github.com/BerriAI/litellm)

- [LiteLLM — Open-Source AI Gateway & LLM Proxy](https://www.litellm.ai/)

- [litellm · PyPI](https://pypi.org/project/litellm/)
