W&B 评测课教你造 LLM 评审,但评审仍离不开人
Weave 文档补上客户现场最要紧的一环:代码检查与评审分开,评审提示词按代码管理。
要点速览
- Weights & Biases 的 LLM Apps: Evaluation 课程讲授如何构建、优化和扩展 LLM 评审。
- Weave 文档补上了值得保留的部分:先让代码打分,再交给评审,并像管理代码一样管理评审的提示词。
- “尽量少用人力”的承诺要谨慎对待,因为什么算“好”仍由客户决定。
Weights & Biases 为“LLM Apps: Evaluation”课程定了一个雄心勃勃的目标。根据最近一次更新于 2025 年 1 月 8 日的课程公告,课程涵盖用尽量少的人力构建、优化和扩展 AI 评估器的技术。对前线部署工程师(FDE)来说,这句话既是邀请,也是陷阱。
说它是邀请,是因为几乎每个客户看完演示都会问同一个问题:怎么知道这个系统已经够格上生产环境?说它是陷阱,问题出在“尽量少用人力”。在客户现场,能定义什么叫“好”的,通常是客户自己的领域专家,而不是另一个模型。
所以这门课最好配合 Weave 文档一起学。课程集中讲 LLM 评审;Weave 文档则展示如何把代码检查和评审组合成混合评测管道。至于自动化的承诺,不妨保持一点距离。
这门课到底教什么技能?
W&B 把它定位为一门讲构建 LLM 评审的课。wandb.ai 上的官方课程页面目前返回 404 错误,因此暂时只能通过公司公告确认课程名称和内容。第 3 章由 Ayush Thakur 主讲,重点是如何搭建 LLM 评估器的结构。
据 W&B 介绍,这一章的方法能把语法、连贯性、逻辑这类主观标准,变成可重复、可扩展的检查。
底层工具是 W&B 的 Weave。公司的评测产品页面这样定义评测:借助基准测试、真实场景和对比分析,从多个维度衡量 AI 智能体和应用的表现。核心单元是评分器(scorer):它接收应用的输入和输出,返回指标。
这门课训练的 FDE 技能,是把客户一句模糊的要求(比如“回答要听起来专业”),变成每次改提示词或换模型后都能重跑的度量。
两类评分器,回答两类问题
Weave 文档把评分器分成两派。代码这一派是基于函数的评分器:一个普通的 Python 函数,加上 @weave.op 装饰器,返回一个字典。文档里的例子简单得容易被忽略:检查一段文本是否全部大写。
另一派是 LLM-as-a-judge(LLM 评审)。评分提示词可以引用被评测 op 中的变量。对于这一类,文档建议使用基于类的 Scorer,原因之一是这样更方便为评审试验不同的提示词。
代码评分器
- 加了 @weave.op 装饰器的 Python 函数
- 便宜、快速,同样的输入总得到同样的结果
- 适合格式、必填字段、长度
LLM 评审
- 带评分提示词的基于类的 Scorer
- 要花模型调用费用,结果可能波动
- 适合连贯性、逻辑、语气
假设有一个为保险公司总结理赔卷宗的聊天机器人,测试集有 200 个用例。
代码评分器检查输出能否解析为 JSON,是否包含格式正确的理赔编号,以及是否超出长度限制。
如果有 30 个用例在这一步就失败,问题已经很清楚,没必要再为它们花评审调用。
剩下的 170 个用例才交给评审,按连贯性和逻辑正确性打分。评审只该回答代码回答不了的问题。
值得带到客户现场的三个思路
第一是上例中的顺序:先代码,后评审。便宜且确定的排在昂贵且多变的前面。这样向客户汇报时,可以把一个下午就能修好的格式错误,和需要与客户一起讨论的质量问题分开。
第二是把主观标准拆开。
第 3 章表明,语法、连贯性和逻辑都可以各自变成可重复的检查。下一步是给每条标准配一个独立的评分器,而不是笼统地问评审“这个回答好不好?”,只拿回一个总分。
分数下降时,马上就知道是哪个维度出了问题。
第三,评审的提示词也是代码。文档建议用基于类的 Scorer 试验多个提示词,言下之意是:评审和系统里其他组件一样,需要版本管理、对比和迭代。
需要自己补上的:人工评分
“尽量少用人力”的目标在扩展阶段说得通,那时评审已经能在成千上万条输出上稳定运行。但在定义阶段说不通。
在客户报告里使用评审分数之前,先请客户的专家标注一小批样本,再把标注和评审分数对比。两者不一致,就先调整提示词,再扩大规模。
这一步也是赢得客户信任的一步。经客户自己团队确认过的数字,比任何仪表盘图表都更有说服力。
适合谁学,按什么顺序学
这门课适合已经有 LLM 应用在跑、但还没有评测套件的工程师。
先读 Weave 文档里的评分器概览(docs.coreweave.com/weave/guides/evaluation/scorers),为自己的项目写一个基于函数的评分器。
然后学第 3 章关于评估器结构的内容,最后再上手基于类的评审。
职业方面,看 FDE 招聘启事时,留意“evals”或“LLM-as-a-judge”这类字眼。简历上别写笼统的“有 LLM 评测经验”,而要描述你搭建的管道:用了多少个代码评分器,评审打分的是哪些标准,以及如何用人工标注校验评审。
这门课教你造出评审。在客户现场,更难的是证明评审打分正确,而 FDE 的工作正是从这里开始。
这篇文章对你有帮助吗?
感谢你的反馈!