FDE Times 数据在招 FDE 职位 8840 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

OpenRouter 两行代码换模型,该不该换要看评测

流式 usage 块、按价格路由和回退模型都不报错,却可能在无人察觉时扭曲结果。

分享微博

要点速览

  • 据官方文档,只需修改 base_url 和 api_key,OpenAI SDK 就能调用 OpenRouter;之后换模型只要改 slug。
  • 其 schema 与 OpenAI Chat API 非常接近但并不完全相同;默认情况下,OpenRouter 会在多个提供方之间负载均衡,并优先选择低价提供方。
  • 评测套件记录下实际使用的模型,客户才有依据信任这次换模型。
示意图:应用调用 OpenRouter,从 OpenRouter 引出两条对称分支:分支①切换到最便宜的提供方,通向主模型;分支②(虚线)在出错时启用,通向回退模型。一个橙色括号框住两个模型,向下指向一条橙色横栏:评测日志必须记录响应中给出的模型名,否则评测分数会混合两个模型。
默认情况下,OpenRouter 会选择最便宜的提供方;主模型出错时,回退机制会切换到备用模型。两者都不会报错,因此每一行评测日志都要记录从响应中取得的实际作答模型。来源:OpenRouter 文档(快速入门、API 参考、提供方路由)。

据 OpenRouter 的快速入门文档,已经在调用 OpenAI SDK 的应用只需改两处,就能接入数百个其他模型:base_url 和 api_key。文档称之为“直接替换”(drop-in)。

对前线部署工程师(FDE)来说,这种便利既有用,也有点让人担心。客户迟早会问:能不能试试别的模型,比如更便宜或更快的那个?切换只要五分钟,而要证明新模型不会把产品搞坏,得靠一套评测。

所以 FDE 两件事都要会:借助 OpenAI 兼容层低成本地切换模型,再搭一套评测,说明这次切换值不值得。

这两行代码改了什么?

OpenRouter 于 2023 年初上线,自称是通往数百个模型的统一端点。下面的最小示例只用了快速入门里的那两个参数,唯一的区别是模型 slug 从环境变量读取:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.environ["OPENROUTER_API_KEY"],
)

resp = client.chat.completions.create(
    model=os.environ["MODEL_SLUG"],
    messages=[{"role": "user", "content": "总结以下工单:..."}],
)

(提示词意为“总结以下工单:……”)

文档说明,model 字段可以填任意模型 slug。正因如此,slug 应该放在配置文件里,而不是写死在代码中。客户想试新模型时,改配置、跑评测即可,不必重新部署任何逻辑。

“直接替换”不等于完全一样

OpenRouter 的 API 参考文档写得很清楚:它的请求和响应 schema 与 OpenAI Chat API 非常相似,但有少量差异。好处是 OpenRouter 把所有模型和提供方都统一成一套 schema,只需学一套。

文档列出的一处差异是:流式输出时,携带 usage 信息的最后一个块,其 choices 数组不为空,这与 OpenAI 的规范相反。设想客户的代码靠判断 choices 是否为空来识别 usage 块。

迁到 OpenRouter 后,这个分支可能永远不会执行,token 用量一直没有记录,直到有人去核对账单才发现。

教训是:“能跑”不等于“跑得对”。在客户环境里改 base_url 之前,先把代码中自行解析响应的地方都检查一遍,尤其是流式路径。

同一个 slug,提供方未必相同

默认情况下,OpenRouter 会在多个提供方之间负载均衡,并优先选择低价提供方。因此同一个模型在不同调用中可能由不同提供方响应,今天的评测结果明天未必能复现。

还有一处容易忽略。require_parameters 选项默认为 false,所以不支持请求中某个参数的提供方,可能会静默忽略该参数。设为 true 后,OpenRouter 只会使用支持你所传全部参数的提供方。

回退(fallback)功能也要弄清楚。你传入一个模型 ID 数组,当第一个模型返回错误时,OpenRouter 会自动尝试下一个,于是由回退模型代替主模型作答。

这样一来,用户拿到的答案可能来自一个你没有充分评测过的模型,而计费按实际使用的模型来算,模型名称会出现在响应里。

评测套件把直觉变成证据

OpenAI 的指南将评测定义为:按照你自己设定的风格和内容标准,检验模型输出。流程分三步:描述任务,在一组测试输入上运行,然后分析并迭代。

设想一位客户想把客服工单摘要换成更便宜的模型。你整理出 50 张去除了个人信息的真实工单,每张配上通过标准:比如摘要必须写对订单号,不能编造退款承诺。

假设现有模型得分 46/50,新模型 41/50。这 5 张工单的差距,加上这 5 张失败工单的清单,就是客户做决定前需要看到的东西。

每一行评测日志还应记录实际作答的模型,这个信息从响应中获取。如果中途触发了回退,那么 41/50 衡量的是两个模型的混合,而不是一个模型。

先学什么

从成本最低的事做起:自己写一个流式响应解析器,对照 API 参考文档列出的差异逐一检查。然后再攻更难的技能:编写评测标准。

看岗位描述时,留意“multi-model”“LLM evaluation”“model routing”这类说法。简历上与其写“有 OpenRouter 使用经验”,不如写明你通过 OpenAI 兼容层把一个应用迁到了另一个模型,并用 50 个用例的评测套件支撑了这一决定。

检验评测标准有个简单办法:取 10 条输出,请一位同事严格按你写的标准打分,不做任何额外解释,再把他的打分和你自己的对比。

如果两人在很多用例上意见不一,问题出在标准上,还轮不到模型。只有两位评分者得出一致的结果,46/50 或 41/50 这样的数字才站得住,可以拿给客户看。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 5: 部署上线Redshift Serverless 上点了取消,账单照算三大数仓计费口径各不相同,只有 BigQuery 能在超限查询产生费用前将其拦下,FDE 探查数据前须先设上限。