OpenRouter 两行代码换模型,该不该换要看评测
流式 usage 块、按价格路由和回退模型都不报错,却可能在无人察觉时扭曲结果。
要点速览
- 据官方文档,只需修改 base_url 和 api_key,OpenAI SDK 就能调用 OpenRouter;之后换模型只要改 slug。
- 其 schema 与 OpenAI Chat API 非常接近但并不完全相同;默认情况下,OpenRouter 会在多个提供方之间负载均衡,并优先选择低价提供方。
- 评测套件记录下实际使用的模型,客户才有依据信任这次换模型。
据 OpenRouter 的快速入门文档,已经在调用 OpenAI SDK 的应用只需改两处,就能接入数百个其他模型:base_url 和 api_key。文档称之为“直接替换”(drop-in)。
对前线部署工程师(FDE)来说,这种便利既有用,也有点让人担心。客户迟早会问:能不能试试别的模型,比如更便宜或更快的那个?切换只要五分钟,而要证明新模型不会把产品搞坏,得靠一套评测。
所以 FDE 两件事都要会:借助 OpenAI 兼容层低成本地切换模型,再搭一套评测,说明这次切换值不值得。
这两行代码改了什么?
OpenRouter 于 2023 年初上线,自称是通往数百个模型的统一端点。下面的最小示例只用了快速入门里的那两个参数,唯一的区别是模型 slug 从环境变量读取:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://openrouter.ai/api/v1",
api_key=os.environ["OPENROUTER_API_KEY"],
)
resp = client.chat.completions.create(
model=os.environ["MODEL_SLUG"],
messages=[{"role": "user", "content": "总结以下工单:..."}],
)
(提示词意为“总结以下工单:……”)
文档说明,model 字段可以填任意模型 slug。正因如此,slug 应该放在配置文件里,而不是写死在代码中。客户想试新模型时,改配置、跑评测即可,不必重新部署任何逻辑。
“直接替换”不等于完全一样
OpenRouter 的 API 参考文档写得很清楚:它的请求和响应 schema 与 OpenAI Chat API 非常相似,但有少量差异。好处是 OpenRouter 把所有模型和提供方都统一成一套 schema,只需学一套。
文档列出的一处差异是:流式输出时,携带 usage 信息的最后一个块,其 choices 数组不为空,这与 OpenAI 的规范相反。设想客户的代码靠判断 choices 是否为空来识别 usage 块。
迁到 OpenRouter 后,这个分支可能永远不会执行,token 用量一直没有记录,直到有人去核对账单才发现。
教训是:“能跑”不等于“跑得对”。在客户环境里改 base_url 之前,先把代码中自行解析响应的地方都检查一遍,尤其是流式路径。
同一个 slug,提供方未必相同
默认情况下,OpenRouter 会在多个提供方之间负载均衡,并优先选择低价提供方。因此同一个模型在不同调用中可能由不同提供方响应,今天的评测结果明天未必能复现。
还有一处容易忽略。require_parameters 选项默认为 false,所以不支持请求中某个参数的提供方,可能会静默忽略该参数。设为 true 后,OpenRouter 只会使用支持你所传全部参数的提供方。
回退(fallback)功能也要弄清楚。你传入一个模型 ID 数组,当第一个模型返回错误时,OpenRouter 会自动尝试下一个,于是由回退模型代替主模型作答。
这样一来,用户拿到的答案可能来自一个你没有充分评测过的模型,而计费按实际使用的模型来算,模型名称会出现在响应里。
评测套件把直觉变成证据
OpenAI 的指南将评测定义为:按照你自己设定的风格和内容标准,检验模型输出。流程分三步:描述任务,在一组测试输入上运行,然后分析并迭代。
设想一位客户想把客服工单摘要换成更便宜的模型。你整理出 50 张去除了个人信息的真实工单,每张配上通过标准:比如摘要必须写对订单号,不能编造退款承诺。
假设现有模型得分 46/50,新模型 41/50。这 5 张工单的差距,加上这 5 张失败工单的清单,就是客户做决定前需要看到的东西。
每一行评测日志还应记录实际作答的模型,这个信息从响应中获取。如果中途触发了回退,那么 41/50 衡量的是两个模型的混合,而不是一个模型。
先学什么
从成本最低的事做起:自己写一个流式响应解析器,对照 API 参考文档列出的差异逐一检查。然后再攻更难的技能:编写评测标准。
看岗位描述时,留意“multi-model”“LLM evaluation”“model routing”这类说法。简历上与其写“有 OpenRouter 使用经验”,不如写明你通过 OpenAI 兼容层把一个应用迁到了另一个模型,并用 50 个用例的评测套件支撑了这一决定。
检验评测标准有个简单办法:取 10 条输出,请一位同事严格按你写的标准打分,不做任何额外解释,再把他的打分和你自己的对比。
如果两人在很多用例上意见不一,问题出在标准上,还轮不到模型。只有两位评分者得出一致的结果,46/50 或 41/50 这样的数字才站得住,可以拿给客户看。
这篇文章对你有帮助吗?
感谢你的反馈!