# OpenRouter 两行代码换模型，该不该换要看评测

> 流式 usage 块、按价格路由和回退模型都不报错，却可能在无人察觉时扭曲结果。

原文: https://fdetimes.net/zh/tools/switch-models-openrouter-evals/

据 OpenRouter 的快速入门文档，已经在调用 OpenAI SDK 的应用只需改两处，就能接入数百个其他模型：`base_url` 和 `api_key`。文档称之为“直接替换”（drop-in）。

对前线部署工程师（FDE）来说，这种便利既有用，也有点让人担心。客户迟早会问：能不能试试别的模型，比如更便宜或更快的那个？切换只要五分钟，而要证明新模型不会把产品搞坏，得靠一套评测。

所以 FDE 两件事都要会：借助 OpenAI 兼容层低成本地切换模型，再搭一套评测，说明这次切换值不值得。

## 这两行代码改了什么？

OpenRouter 于 2023 年初上线，自称是通往数百个模型的统一端点。下面的最小示例只用了快速入门里的那两个参数，唯一的区别是模型 slug 从环境变量读取：

```python
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key=os.environ["OPENROUTER_API_KEY"],
)

resp = client.chat.completions.create(
    model=os.environ["MODEL_SLUG"],
    messages=[{"role": "user", "content": "总结以下工单：..."}],
)
```

（提示词意为“总结以下工单：……”）

文档说明，`model` 字段可以填任意模型 slug。正因如此，slug 应该放在配置文件里，而不是写死在代码中。客户想试新模型时，改配置、跑评测即可，不必重新部署任何逻辑。

## “直接替换”不等于完全一样

OpenRouter 的 API 参考文档写得很清楚：它的请求和响应 schema 与 OpenAI Chat API 非常相似，但有少量差异。好处是 OpenRouter 把所有模型和提供方都统一成一套 schema，只需学一套。

文档列出的一处差异是：流式输出时，携带 usage 信息的最后一个块，其 `choices` 数组不为空，这与 OpenAI 的规范相反。设想客户的代码靠判断 `choices` 是否为空来识别 usage 块。

迁到 OpenRouter 后，这个分支可能永远不会执行，token 用量一直没有记录，直到有人去核对账单才发现。

教训是：“能跑”不等于“跑得对”。在客户环境里改 base_url 之前，先把代码中自行解析响应的地方都检查一遍，尤其是流式路径。

## 同一个 slug，提供方未必相同

默认情况下，OpenRouter 会在多个提供方之间负载均衡，并优先选择低价提供方。因此同一个模型在不同调用中可能由不同提供方响应，今天的评测结果明天未必能复现。

还有一处容易忽略。`require_parameters` 选项默认为 false，所以不支持请求中某个参数的提供方，可能会静默忽略该参数。设为 true 后，OpenRouter 只会使用支持你所传全部参数的提供方。

回退（fallback）功能也要弄清楚。你传入一个模型 ID 数组，当第一个模型返回错误时，OpenRouter 会自动尝试下一个，于是由回退模型代替主模型作答。

这样一来，用户拿到的答案可能来自一个你没有充分评测过的模型，而计费按实际使用的模型来算，模型名称会出现在响应里。

**要点:** 换模型只要几分钟；证明新模型更好，才是工程师真正的工作。

## 评测套件把直觉变成证据

OpenAI 的指南将评测定义为：按照你自己设定的风格和内容标准，检验模型输出。流程分三步：描述任务，在一组测试输入上运行，然后分析并迭代。

设想一位客户想把客服工单摘要换成更便宜的模型。你整理出 50 张去除了个人信息的真实工单，每张配上通过标准：比如摘要必须写对订单号，不能编造退款承诺。

假设现有模型得分 46/50，新模型 41/50。这 5 张工单的差距，加上这 5 张失败工单的清单，就是客户做决定前需要看到的东西。

每一行评测日志还应记录实际作答的模型，这个信息从响应中获取。如果中途触发了回退，那么 41/50 衡量的是两个模型的混合，而不是一个模型。

## 先学什么

从成本最低的事做起：自己写一个流式响应解析器，对照 API 参考文档列出的差异逐一检查。然后再攻更难的技能：编写评测标准。

看岗位描述时，留意“multi-model”“LLM evaluation”“model routing”这类说法。简历上与其写“有 OpenRouter 使用经验”，不如写明你通过 OpenAI 兼容层把一个应用迁到了另一个模型，并用 50 个用例的评测套件支撑了这一决定。

检验评测标准有个简单办法：取 10 条输出，请一位同事严格按你写的标准打分，不做任何额外解释，再把他的打分和你自己的对比。

如果两人在很多用例上意见不一，问题出在标准上，还轮不到模型。只有两位评分者得出一致的结果，46/50 或 41/50 这样的数字才站得住，可以拿给客户看。

**本周动手试试:**

- 找一个调用 OpenAI SDK 的脚本，把 base_url 改为 https://openrouter.ai/api/v1，把模型 slug 移到环境变量里，试两个不同的 slug
- 为一个熟悉的任务写 20 组“输入/通过标准”，在两个模型上运行，记录通过率，以及每个请求实际作答的模型
- 在提供方路由配置中把 require_parameters 设为 true，与默认设置的结果做对比

## 信源

- [Quickstart | OpenRouter Documentation](https://openrouter.ai/docs/quickstart)

- [API Reference | OpenRouter Documentation](https://openrouter.ai/docs/api-reference/overview)

- [Model Fallbacks | OpenRouter Documentation](https://openrouter.ai/docs/guides/routing/model-fallbacks)

- [Provider Routing | OpenRouter Documentation](https://openrouter.ai/docs/features/provider-routing)

- [About - The Unified Interface For LLMs | OpenRouter](https://openrouter.ai/about)

- [Working with evals](https://developers.openai.com/api/docs/guides/evals)
