FDE Times 数据在招 FDE 职位 881▼3 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 184支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

用 LiteLLM Proxy 把一张 LLM 账单拆给三个客户

每个客户一个虚拟密钥,模型、预算、限流各自独立,服务商真实密钥始终留在自托管网关内。

分享微博

要点速览

  • LiteLLM Proxy 是自托管服务器,用一个兼容 OpenAI 的端点调用 100 多家 LLM 服务商,采用 MIT 许可证。
  • 每个虚拟密钥都有独立的模型、预算和限流;设置 team_id 后,多个密钥可共用同一客户的预算。
  • 网关按密钥、用户和团队记录每次请求的成本。没有设置重置周期的预算永远不会重置。
示意图:A、B、C 三个客户各为一个团队,共享一份预算,各有两个应用(聊天机器人、夜间任务),请求都发往 LiteLLM Proxy。Proxy 提供兼容 OpenAI 的端点、虚拟密钥、硬预算,以及按密钥、用户和团队的支出追踪。服务商的根密钥留在网关内,网关可调用 100 多家 LLM 服务商。下方显示月底成本按客户、应用和终端用户三级拆分。一个警示框提示:没有重置周期的预算用完一次就会永久锁死应用。
每个客户一个团队,每个应用一个虚拟密钥:LiteLLM Proxy 保管根密钥,支出触顶即拦截,并按客户、应用和终端用户拆分账单。

每月的 LLM 账单通常只有一个数字。对同时服务三个客户(或一个客户的三个部门)的前线部署工程师(FDE)来说,这个数字几乎没有用:没人知道哪部分该算在谁头上,也没有任何机制能拦住半夜陷入死循环的 Agent。

LiteLLM Proxy 正是为这个问题而生。官方文档将其描述为一个自托管服务器,为应用提供一个兼容 OpenAI 的端点,可调用 100 多家 LLM 服务商,还支持 MCP 工具和 A2A Agent。GitHub 上的 BerriAI/litellm 仓库称它为开源 AI Gateway,PyPI 上的包采用 MIT 许可证。

对 FDE 而言,它的价值不在于能调用很多模型,而在于网关把成本和访问权限变成了可以按客户提前配置的东西,赶在出问题之前。

为什么不直接分发原始 API 密钥?

把服务商的 API 密钥直接交给每个应用,等于从第一天起就失去了控制。原始密钥不知道是哪个应用在用它,自身没有支出上限,一旦吊销,所有应用会同时停摆。

LiteLLM 的虚拟密钥把这一层隔离开来。文档写明,每个密钥都有独立的模型列表、预算和限流,并且会按密钥自动追踪支出。

README 列出的内置功能包括虚拟密钥、支出追踪、护栏(guardrails)、负载均衡和管理后台。应用只持有虚拟密钥,服务商的密钥始终留在网关内。

示例:三个客户,一个网关

假设你在一家服务公司工作,为 A、B、C 三个客户运行聊天机器人。每个客户有两个应用:一个聊天机器人,一个在夜间汇总文档的任务。

合理的做法是每个客户一个团队,每个应用一个虚拟密钥。LiteLLM 文档允许为虚拟密钥绑定 team_id,让该密钥使用团队的共享预算;没有 team_id 的密钥则是个人密钥。

这样,客户 A 的两个应用从同一份预算中支出,成本仍按密钥拆分,你能看出夜间任务到底花了多少。

由于端点兼容 OpenAI,应用侧几乎不用改动。下面的示例使用了占位的地址和模型名:

from openai import OpenAI

client = OpenAI(
    base_url="https://llm-gateway.internal.example",  # 网关地址,示例
    api_key="VIRTUAL_KEY_FOR_CLIENT_A_CHATBOT",
)

resp = client.chat.completions.create(
    model="allowed-model-name",
    messages=[{"role": "user", "content": "总结这份合同"}],
    user="end-user-1024",  # 便于网关按终端用户归集成本
)

(两条注释分别说明“网关地址,占位”和“便于网关按终端用户归集成本”;提示词要求模型总结一份合同。)

需要留意的是 user 参数。支出追踪文档指出,成本可以按密钥、用户和团队追踪,而终端用户维度依赖请求中的 user 参数,其明确用途是向其他团队、客户或用户计费。

网关会记录每次请求的成本,到了月底,你手里就有三个层级的数据:哪个客户、哪个应用、哪个终端用户。

预算必须配上重置周期才安全

LiteLLM 官网介绍了多个层级(密钥、团队、组织和模型)的硬预算,支持按天和按月重置,达到上限后拦截请求。有了它,你就不会在凌晨接到“Agent 停不下来”的电话。

不过这里有个小陷阱。文档说明,预算在你指定的周期结束时重置;如果不指定周期,预算永远不会重置。

假设你给客户 B 设了上限,却忘了设周期。第一个月一切正常。一旦达到上限,团队 B 的所有密钥都会被拦截,并且一直如此,直到有人手动修复。

因此,为客户创建团队时,第一件事就是显式设置重置周期,然后在测试环境里让某个密钥触顶,看看应用会收到什么错误、又会向用户显示什么。

需要提前和客户讲清的限制

自托管既是优势,也是负担。网关位于每一次 LLM 请求的必经之路上,它就是你或客户的基础设施:必须有人负责运行、监控和升级。

版本迭代也非常快:PyPI 上 litellm 的最新版本是 1.104.2,发布于 2026 年 10 月 8 日。在客户现场,应锁定固定版本,重新跑完自己的测试套件后再升级。

最后,只有所有应用都一致地传入 user 参数,按终端用户统计的数据才准确。这是对应用团队的纪律要求,网关猜不出来。

先学什么,简历上写什么

合理的顺序是:先让 Proxy 接通一家服务商跑起来,创建一个只能访问特定模型的虚拟密钥,再逐步上手团队、带重置周期的预算和按用户的成本报表。负载均衡和护栏可以等成本问题解决之后再说。

阅读 FDE 岗位描述时,如果出现“multi-tenant”“cost attribution”或“LLM gateway”等字眼,说明工作内容会直接涉及这一块。在简历上,一句具体的“搭建自托管 LLM 网关,用虚拟密钥和团队为 3 个客户拆分预算和成本”,比罗列一串框架更有说服力。

客户很少问你用的是哪个模型。他们问的是这个月花了多少钱,为什么。有了网关,你可以用数据回答,而不是靠猜。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 6: 价值度量Braintrust 如何拦住演示能过、上线就坏的提示词生产环境的失败案例变成数据集,每个 PR 都打分,回归在合并前就被拦下,不会落到客户头上。