FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

AI 选型比拼,谁设计评测谁定规则

在演示账号上调好的提示词,到生产环境就会失灵;用客户真实数据做留出测试,签约前就能看清哪里会输。

分享微博

要点速览

  • 演示数据经过精心挑选,生产数据杂乱无章。在演示上赢了,说明不了上线第一个月的表现。
  • LLM 评审会受位置、长度影响,也会偏向自家厂商的模型。每组答案要交换顺序评两次,选用中立模型,并用人工标注校准评审。
  • 留出集由客户保管。你只在开发集上调优,这就是你没有针对测试调优的证据。
两根堆叠条形图,使用同一条 0–200 封留出邮件的刻度。按 A 在前单向评判,A 赢 130;双向评判且结论翻转即算平局,结果为 A 85、平局 55、B 60,其中 55 的平局段以橙色突出显示。
按 A 在前单向评判,A 在 200 个案例中赢 130 个;按两种顺序评判、结论翻转即算平局,诚实的结果是 85–60–55。来源:文中的假设比拼示例(某物流公司的投诉邮件)。

客户的邮件很短:两周后,他们会把同一组问题分别交给你的产品和竞争对手的产品,然后二选一。

很多前线部署工程师(FDE)的第一反应,是打开演示账号反复调提示词,直到每个回答都好看为止。这样也许能赢下比拼,但系统上线第一个月就会出问题。

更好的做法是主动提出由你来设计测试,并且做到足够公平,让客户信任结果。谁握着尺子,谁就定义了什么叫“好”。只要尺子是直的,你既能占得先机,也能在签约前准确知道自己输在哪里。

这项技能适用于任何 AI 供应商选型,哪怕竞争对手是你们公司自己的另一个模型。

为什么在演示上赢了说明不了什么?

tianpan.co 博客上一位从业者的文章点出了核心差距:演示账号里是精心挑选、分布均衡的数据,生产账号里的数据则杂乱、字段缺失,而且往往几乎是空的。

在演示上调提示词,等于专门为客户今后再也见不到的数据做优化。文章还认为,这套评测通常应该由 FDE 来负责。

Anthropic 关于构建评测的指南给出了第一条原则:评测必须反映任务的真实分布。长期撰写和讲授评测方法的 Hamel Husain 说得更直白。

在他看来,拿通用的现成指标衡量质量既浪费时间,又会制造虚假的信心。模型之间的差异必须在你自己的数据上衡量,在这里就是客户的数据。

所以和客户坐下来之后,第一件事不是写提示词,而是向对方要一份他们现有系统的真实日志样本,包括难处理的案例。Anthropic 明确提醒不要漏掉边界情况,包括连人类自己都意见不一的模糊案例。

尺子也会弯

一场有几百道题的比拼,谁都没法逐条人工打分,也不应该这么做。Anthropic 建议优先保证数量:大量自动评分、信号稍弱的题目,胜过少量精心人工评分的题目。但自动评分意味着用 LLM 当评审,而评审本身也有偏差。

Zheng 等人的论文《Judging LLM-as-a-Judge》指出了三种偏差:位置偏差,即评审因答案出现的先后顺序而偏向某一方;冗长偏差,即偏向更长的答案;自我增强偏差,即偏向自己生成的内容。

OpenAI 的指南也把前两种列为成对评分的已知难题。在选型比拼里,第三种最危险:如果评审模型来自两家供应商之一,结果从一开始就是倾斜的。Anthropic 的代码示例提到,一般最好用一个不同于生成输出的模型来评分。

好消息是,强评审模型依然可用。同一篇论文发现,强评审与人工评分者的一致率超过 80%,与两个人之间的一致程度相当。

前提是你要在客户的问题上验证这一点,而不是想当然。Hamel Husain 建议,用人工标注过的样例测试评审,样例要恰好覆盖它需要识别的那几类错误。

一场比拼的完整示例

假设客户是一家物流公司,想用 AI 起草投诉邮件的回复。你从上个季度取出 300 封真实邮件,其中 30 封是特意挑出的难题:空邮件、格式错误的运单号、夹杂两种语言书写的客户、含糊不清的诉求。

你把它们分成 100 封开发集和 200 封留出集。双方都可以在开发集上随意调提示词。留出集由客户保管,只在测试当天跑一次。Lyft 的工程师在 AI Engineer World’s Fair 2026 上分享时,正是用这种开发集/留出集划分来发现过拟合。

接下来是打分。200 封留出邮件每封评两次,一次 A 的答案在前,一次 B 的在前,共 400 次评判。假设 A 在前时,A 赢 130/200;B 在前时,A 只赢 95/200。这 35 个案例的差距就是位置偏差,一目了然。

计分规则很简单:只有在两种顺序下都赢,才算这一方获胜,其余一律算平局。假设 A 在 85 个案例中两轮都赢,B 在 60 个案例中两轮都赢,另有 55 个结果翻转,算作平局。

诚实的结果是 85–60–55,而不是只按 A 在前单向评一次得出的“A 胜率 65%”。

def judge_pair(email, ans_a, ans_b, judge):
    # judge 是第三方模型,不来自参赛的任何一家供应商
    first = judge(email, left=ans_a, right=ans_b)   # 返回 'left' 或 'right'
    second = judge(email, left=ans_b, right=ans_a)
    a_wins_first = first == "left"
    a_wins_second = second == "right"
    if a_wins_first and a_wins_second:
        return "A"
    if not a_wins_first and not a_wins_second:
        return "B"
    return "tie"  # 交换顺序后结论发生翻转

还有两层检查。OpenAI 的指南提到,模型对同一输入有时会给出不同输出。所以每套系统要在每封邮件上跑三次,同时报告方差,而不是只报最好的一次。

OpenAI 还建议控制长度。比较获胜一方的平均回答长度;如果明显更长,就改写评分标准,让评审给内容正确打分,而不是给内容饱满打分。

最后,校准评审。请物流公司的客服团队标注 50 组答案,再把他们的标注和评审的结论对比。OpenAI 把这一步称为用人工反馈校准自动评分。Lyft 的工程师提醒:与一个未经验证的评审达成一致,并不能证明 Agent 工作正常。

在客户现场的步骤

先写一页比拼规则,在任何人写下第一行提示词之前发给客户。内容包括:数据来源、边界情况的占比、开发集和留出集如何划分、评审模型及选择理由、平局规则、重复运行次数。

如果客户同意,也请竞争对手一起看。敢拿给竞争对手看的规则,客户才会信任。

然后收集真实数据,并有意掺入难题。接着与客户的业务人员一起写评分标准,用他们的标注校准评审,等评审达到可接受的一致率后,再跑留出集。最终报告要给出三个数字:胜、负、平,再附上几个你输掉的具体案例。

最后这一点最常被省略。主动指出自己输在哪里,是让客户相信你赢在哪里的最快方式,同时它也是部署第一周的任务清单。

让比拼失去意义的错误

最常见的是偷看留出集。看了几道留出题之后再改提示词,这个集合就变成了开发集,你也失去了证明自己没有针对测试调优的唯一证据。第二个错误是图方便、图便宜,用与某个参赛方同一厂商的模型当评审。

第三个错误是只单向跑一次,然后报出精确到小数点后一位的胜率。这个数字看起来很精确,但只要交换顺序就可能反转。第四个错误是用公开基准代替客户数据,这正是 Hamel Husain 警告的虚假信心。

这项技能也值得写进求职材料。简历上写一句“基于生产日志搭建了 300 个案例的选型比拼评测,评审模型经人工标注校准,客户依据结果做出了决策”,远比“熟悉 LLM”有分量。

面试时,要准备好解释为什么把翻转的结论算作平局。

每场比拼最终都会落到一个采购决定上。但你留下的评测会在之后长期使用,每次模型升级时都会保护你。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量Agent 说订单已取消,数据库未必同意仿照 τ-bench 的评分器只查数据库、不看对话记录,在笔记本上用 Python 一个下午就能搭好。