# AI 选型比拼，谁设计评测谁定规则

> 在演示账号上调好的提示词，到生产环境就会失灵；用客户真实数据做留出测试，签约前就能看清哪里会输。

原文: https://fdetimes.net/zh/guides/fair-ai-bake-off-eval/

客户的邮件很短：两周后，他们会把同一组问题分别交给你的产品和竞争对手的产品，然后二选一。

很多前线部署工程师（FDE）的第一反应，是打开演示账号反复调提示词，直到每个回答都好看为止。这样也许能赢下比拼，但系统上线第一个月就会出问题。

更好的做法是主动提出由你来设计测试，并且做到足够公平，让客户信任结果。谁握着尺子，谁就定义了什么叫“好”。只要尺子是直的，你既能占得先机，也能在签约前准确知道自己输在哪里。

这项技能适用于任何 AI 供应商选型，哪怕竞争对手是你们公司自己的另一个模型。

## 为什么在演示上赢了说明不了什么？

tianpan.co 博客上一位从业者的文章点出了核心差距：演示账号里是精心挑选、分布均衡的数据，生产账号里的数据则杂乱、字段缺失，而且往往几乎是空的。

在演示上调提示词，等于专门为客户今后再也见不到的数据做优化。文章还认为，这套评测通常应该由 FDE 来负责。

Anthropic 关于构建评测的指南给出了第一条原则：评测必须反映任务的真实分布。长期撰写和讲授评测方法的 Hamel Husain 说得更直白。

在他看来，拿通用的现成指标衡量质量既浪费时间，又会制造虚假的信心。模型之间的差异必须在你自己的数据上衡量，在这里就是客户的数据。

所以和客户坐下来之后，第一件事不是写提示词，而是向对方要一份他们现有系统的真实日志样本，包括难处理的案例。Anthropic 明确提醒不要漏掉边界情况，包括连人类自己都意见不一的模糊案例。

## 尺子也会弯

一场有几百道题的比拼，谁都没法逐条人工打分，也不应该这么做。Anthropic 建议优先保证数量：大量自动评分、信号稍弱的题目，胜过少量精心人工评分的题目。但自动评分意味着用 LLM 当评审，而评审本身也有偏差。

Zheng 等人的论文《Judging LLM-as-a-Judge》指出了三种偏差：位置偏差，即评审因答案出现的先后顺序而偏向某一方；冗长偏差，即偏向更长的答案；自我增强偏差，即偏向自己生成的内容。

OpenAI 的指南也把前两种列为成对评分的已知难题。在选型比拼里，第三种最危险：如果评审模型来自两家供应商之一，结果从一开始就是倾斜的。Anthropic 的代码示例提到，一般最好用一个不同于生成输出的模型来评分。

**要点:** 用弯尺子赢下比拼，只是输得慢一点，输在上线那天。

好消息是，强评审模型依然可用。同一篇论文发现，强评审与人工评分者的一致率超过 80%，与两个人之间的一致程度相当。

前提是你要在客户的问题上验证这一点，而不是想当然。Hamel Husain 建议，用人工标注过的样例测试评审，样例要恰好覆盖它需要识别的那几类错误。

## 一场比拼的完整示例

假设客户是一家物流公司，想用 AI 起草投诉邮件的回复。你从上个季度取出 300 封真实邮件，其中 30 封是特意挑出的难题：空邮件、格式错误的运单号、夹杂两种语言书写的客户、含糊不清的诉求。

你把它们分成 100 封开发集和 200 封留出集。双方都可以在开发集上随意调提示词。留出集由客户保管，只在测试当天跑一次。Lyft 的工程师在 AI Engineer World's Fair 2026 上分享时，正是用这种开发集/留出集划分来发现过拟合。

接下来是打分。200 封留出邮件每封评两次，一次 A 的答案在前，一次 B 的在前，共 400 次评判。假设 A 在前时，A 赢 130/200；B 在前时，A 只赢 95/200。这 35 个案例的差距就是位置偏差，一目了然。

计分规则很简单：只有在两种顺序下都赢，才算这一方获胜，其余一律算平局。假设 A 在 85 个案例中两轮都赢，B 在 60 个案例中两轮都赢，另有 55 个结果翻转，算作平局。

诚实的结果是 85–60–55，而不是只按 A 在前单向评一次得出的“A 胜率 65%”。

```python
def judge_pair(email, ans_a, ans_b, judge):
    # judge 是第三方模型，不来自参赛的任何一家供应商
    first = judge(email, left=ans_a, right=ans_b)   # 返回 'left' 或 'right'
    second = judge(email, left=ans_b, right=ans_a)
    a_wins_first = first == "left"
    a_wins_second = second == "right"
    if a_wins_first and a_wins_second:
        return "A"
    if not a_wins_first and not a_wins_second:
        return "B"
    return "tie"  # 交换顺序后结论发生翻转
```

还有两层检查。OpenAI 的指南提到，模型对同一输入有时会给出不同输出。所以每套系统要在每封邮件上跑三次，同时报告方差，而不是只报最好的一次。

OpenAI 还建议控制长度。比较获胜一方的平均回答长度；如果明显更长，就改写评分标准，让评审给内容正确打分，而不是给内容饱满打分。

最后，校准评审。请物流公司的客服团队标注 50 组答案，再把他们的标注和评审的结论对比。OpenAI 把这一步称为用人工反馈校准自动评分。Lyft 的工程师提醒：与一个未经验证的评审达成一致，并不能证明 Agent 工作正常。

## 在客户现场的步骤

先写一页比拼规则，在任何人写下第一行提示词之前发给客户。内容包括：数据来源、边界情况的占比、开发集和留出集如何划分、评审模型及选择理由、平局规则、重复运行次数。

如果客户同意，也请竞争对手一起看。敢拿给竞争对手看的规则，客户才会信任。

然后收集真实数据，并有意掺入难题。接着与客户的业务人员一起写评分标准，用他们的标注校准评审，等评审达到可接受的一致率后，再跑留出集。最终报告要给出三个数字：胜、负、平，再附上几个你输掉的具体案例。

最后这一点最常被省略。主动指出自己输在哪里，是让客户相信你赢在哪里的最快方式，同时它也是部署第一周的任务清单。

## 让比拼失去意义的错误

最常见的是偷看留出集。看了几道留出题之后再改提示词，这个集合就变成了开发集，你也失去了证明自己没有针对测试调优的唯一证据。第二个错误是图方便、图便宜，用与某个参赛方同一厂商的模型当评审。

第三个错误是只单向跑一次，然后报出精确到小数点后一位的胜率。这个数字看起来很精确，但只要交换顺序就可能反转。第四个错误是用公开基准代替客户数据，这正是 Hamel Husain 警告的虚假信心。

这项技能也值得写进求职材料。简历上写一句“基于生产日志搭建了 300 个案例的选型比拼评测，评审模型经人工标注校准，客户依据结果做出了决策”，远比“熟悉 LLM”有分量。

面试时，要准备好解释为什么把翻转的结论算作平局。

每场比拼最终都会落到一个采购决定上。但你留下的评测会在之后长期使用，每次模型升级时都会保护你。

**本周动手试试:**

- 从你的项目中任取 50 组答案，让评审交换顺序评两次，数一数有多少结论发生翻转
- 写一页比拼规则，涵盖数据来源、开发集/留出集划分、评审模型和平局规则，再发给扮演客户的同事，请对方挑刺

## 信源

- [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)

- [Evaluation best practices](https://developers.openai.com/api/docs/guides/evaluation-best-practices)

- [Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena](https://arxiv.org/abs/2306.05685)

- [AI Evals: Everything You Need to Know](https://hamel.dev/blog/posts/evals-faq/)

- [Build Evals That Actually Matter](https://www.ai.engineer/talks/3z2uT5aDx_Y-build-evals-that-actually-matter)

- [The Demo Account Eval Set Your Sales Team Is Running Without You](https://tianpan.co/blog/2026/05/14/demo-account-eval-set-sales-team-blind-spot)
