# W&B 评测课教你造 LLM 评审，但评审仍离不开人

> Weave 文档补上客户现场最要紧的一环：代码检查与评审分开，评审提示词按代码管理。

原文: https://fdetimes.net/zh/books-courses/wandb-llm-evaluation-course-judges/

Weights & Biases 为“LLM Apps: Evaluation”课程定了一个雄心勃勃的目标。根据最近一次更新于 2025 年 1 月 8 日的课程公告，课程涵盖用尽量少的人力构建、优化和扩展 AI 评估器的技术。对前线部署工程师（FDE）来说，这句话既是邀请，也是陷阱。

说它是邀请，是因为几乎每个客户看完演示都会问同一个问题：怎么知道这个系统已经够格上生产环境？说它是陷阱，问题出在“尽量少用人力”。在客户现场，能定义什么叫“好”的，通常是客户自己的领域专家，而不是另一个模型。

所以这门课最好配合 Weave 文档一起学。课程集中讲 LLM 评审；Weave 文档则展示如何把代码检查和评审组合成混合评测管道。至于自动化的承诺，不妨保持一点距离。

## 这门课到底教什么技能？

W&B 把它定位为一门讲构建 LLM 评审的课。wandb.ai 上的官方课程页面目前返回 404 错误，因此暂时只能通过公司公告确认课程名称和内容。第 3 章由 Ayush Thakur 主讲，重点是如何搭建 LLM 评估器的结构。

据 W&B 介绍，这一章的方法能把语法、连贯性、逻辑这类主观标准，变成可重复、可扩展的检查。

底层工具是 W&B 的 Weave。公司的评测产品页面这样定义评测：借助基准测试、真实场景和对比分析，从多个维度衡量 AI 智能体和应用的表现。核心单元是评分器（scorer）：它接收应用的输入和输出，返回指标。

这门课训练的 FDE 技能，是把客户一句模糊的要求（比如“回答要听起来专业”），变成每次改提示词或换模型后都能重跑的度量。

## 两类评分器，回答两类问题

Weave 文档把评分器分成两派。代码这一派是基于函数的评分器：一个普通的 Python 函数，加上 `@weave.op` 装饰器，返回一个字典。文档里的例子简单得容易被忽略：检查一段文本是否全部大写。

另一派是 LLM-as-a-judge（LLM 评审）。评分提示词可以引用被评测 op 中的变量。对于这一类，文档建议使用基于类的 `Scorer`，原因之一是这样更方便为评审试验不同的提示词。

假设有一个为保险公司总结理赔卷宗的聊天机器人，测试集有 200 个用例。

代码评分器检查输出能否解析为 JSON，是否包含格式正确的理赔编号，以及是否超出长度限制。

如果有 30 个用例在这一步就失败，问题已经很清楚，没必要再为它们花评审调用。

剩下的 170 个用例才交给评审，按连贯性和逻辑正确性打分。评审只该回答代码回答不了的问题。

## 值得带到客户现场的三个思路

第一是上例中的顺序：先代码，后评审。便宜且确定的排在昂贵且多变的前面。这样向客户汇报时，可以把一个下午就能修好的格式错误，和需要与客户一起讨论的质量问题分开。

第二是把主观标准拆开。

第 3 章表明，语法、连贯性和逻辑都可以各自变成可重复的检查。下一步是给每条标准配一个独立的评分器，而不是笼统地问评审“这个回答好不好？”，只拿回一个总分。

分数下降时，马上就知道是哪个维度出了问题。

第三，评审的提示词也是代码。文档建议用基于类的 Scorer 试验多个提示词，言下之意是：评审和系统里其他组件一样，需要版本管理、对比和迭代。

**要点:** LLM 评审本身也是模型，必须先评测，才能信任。

## 需要自己补上的：人工评分

“尽量少用人力”的目标在扩展阶段说得通，那时评审已经能在成千上万条输出上稳定运行。但在定义阶段说不通。

在客户报告里使用评审分数之前，先请客户的专家标注一小批样本，再把标注和评审分数对比。两者不一致，就先调整提示词，再扩大规模。

这一步也是赢得客户信任的一步。经客户自己团队确认过的数字，比任何仪表盘图表都更有说服力。

## 适合谁学，按什么顺序学

这门课适合已经有 LLM 应用在跑、但还没有评测套件的工程师。

先读 Weave 文档里的评分器概览（docs.coreweave.com/weave/guides/evaluation/scorers），为自己的项目写一个基于函数的评分器。

然后学第 3 章关于评估器结构的内容，最后再上手基于类的评审。

职业方面，看 FDE 招聘启事时，留意“evals”或“LLM-as-a-judge”这类字眼。简历上别写笼统的“有 LLM 评测经验”，而要描述你搭建的管道：用了多少个代码评分器，评审打分的是哪些标准，以及如何用人工标注校验评审。

这门课教你造出评审。在客户现场，更难的是证明评审打分正确，而 FDE 的工作正是从这里开始。

**本周动手试试:**

- 针对 LLM 应用经常违反的一条格式规则，用 @weave.op 写一个基于函数的评分器
- 挑一条客户常抱怨的主观标准，只为这一条标准写评审提示词，做成基于类的 Scorer，并至少试两个版本的提示词
- 请一位领域专家标注一小批输出，在任何报告使用评审结果之前，先把专家标注与评审分数做对比

## 信源

- [Announcing our newest GenAI course: LLM Apps: Evaluation (W&B report, redirected from wandb.ai to forge.coreweave.com)](https://forge.coreweave.com/wandb/agatamlyn/report/reports/Announcing-our-newest-GenAI-course-LLM-Apps-Evaluation--VmlldzoxMDg2MTkyMQ)

- [Weights & Biases for Evaluations](https://wandb.ai/site/solutions/evaluations/)

- [Scoring overview (Weave docs)](https://docs.coreweave.com/weave/guides/evaluation/scorers)
