FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

书籍与课程

W&B 评测课教你造 LLM 评审,但评审仍离不开人

Weave 文档补上客户现场最要紧的一环:代码检查与评审分开,评审提示词按代码管理。

分享微博

要点速览

  • Weights & Biases 的 LLM Apps: Evaluation 课程讲授如何构建、优化和扩展 LLM 评审。
  • Weave 文档补上了值得保留的部分:先让代码打分,再交给评审,并像管理代码一样管理评审的提示词。
  • “尽量少用人力”的承诺要谨慎对待,因为什么算“好”仍由客户决定。
堆叠柱状图展示一个假设示例中的 200 个测试用例。橙色的 30 个用例因 JSON 错误、理赔编号或长度问题,在代码评分器一步直接失败;蓝色的其余 170 个用例进入 LLM 评审,按连贯性和逻辑打分。
在文中的假设示例里,代码评分器先剔除 200 个测试用例中的 30 个,只有剩下的 170 个交给 LLM 评审。来源:文中示意性示例,依据 Weave 文档。

Weights & Biases 为“LLM Apps: Evaluation”课程定了一个雄心勃勃的目标。根据最近一次更新于 2025 年 1 月 8 日的课程公告,课程涵盖用尽量少的人力构建、优化和扩展 AI 评估器的技术。对前线部署工程师(FDE)来说,这句话既是邀请,也是陷阱。

说它是邀请,是因为几乎每个客户看完演示都会问同一个问题:怎么知道这个系统已经够格上生产环境?说它是陷阱,问题出在“尽量少用人力”。在客户现场,能定义什么叫“好”的,通常是客户自己的领域专家,而不是另一个模型。

所以这门课最好配合 Weave 文档一起学。课程集中讲 LLM 评审;Weave 文档则展示如何把代码检查和评审组合成混合评测管道。至于自动化的承诺,不妨保持一点距离。

这门课到底教什么技能?

W&B 把它定位为一门讲构建 LLM 评审的课。wandb.ai 上的官方课程页面目前返回 404 错误,因此暂时只能通过公司公告确认课程名称和内容。第 3 章由 Ayush Thakur 主讲,重点是如何搭建 LLM 评估器的结构。

据 W&B 介绍,这一章的方法能把语法、连贯性、逻辑这类主观标准,变成可重复、可扩展的检查。

底层工具是 W&B 的 Weave。公司的评测产品页面这样定义评测:借助基准测试、真实场景和对比分析,从多个维度衡量 AI 智能体和应用的表现。核心单元是评分器(scorer):它接收应用的输入和输出,返回指标。

这门课训练的 FDE 技能,是把客户一句模糊的要求(比如“回答要听起来专业”),变成每次改提示词或换模型后都能重跑的度量。

两类评分器,回答两类问题

Weave 文档把评分器分成两派。代码这一派是基于函数的评分器:一个普通的 Python 函数,加上 @weave.op 装饰器,返回一个字典。文档里的例子简单得容易被忽略:检查一段文本是否全部大写。

另一派是 LLM-as-a-judge(LLM 评审)。评分提示词可以引用被评测 op 中的变量。对于这一类,文档建议使用基于类的 Scorer,原因之一是这样更方便为评审试验不同的提示词。

代码评分器

  • 加了 @weave.op 装饰器的 Python 函数
  • 便宜、快速,同样的输入总得到同样的结果
  • 适合格式、必填字段、长度

LLM 评审

  • 带评分提示词的基于类的 Scorer
  • 要花模型调用费用,结果可能波动
  • 适合连贯性、逻辑、语气

假设有一个为保险公司总结理赔卷宗的聊天机器人,测试集有 200 个用例。

代码评分器检查输出能否解析为 JSON,是否包含格式正确的理赔编号,以及是否超出长度限制。

如果有 30 个用例在这一步就失败,问题已经很清楚,没必要再为它们花评审调用。

剩下的 170 个用例才交给评审,按连贯性和逻辑正确性打分。评审只该回答代码回答不了的问题。

值得带到客户现场的三个思路

第一是上例中的顺序:先代码,后评审。便宜且确定的排在昂贵且多变的前面。这样向客户汇报时,可以把一个下午就能修好的格式错误,和需要与客户一起讨论的质量问题分开。

第二是把主观标准拆开。

第 3 章表明,语法、连贯性和逻辑都可以各自变成可重复的检查。下一步是给每条标准配一个独立的评分器,而不是笼统地问评审“这个回答好不好?”,只拿回一个总分。

分数下降时,马上就知道是哪个维度出了问题。

第三,评审的提示词也是代码。文档建议用基于类的 Scorer 试验多个提示词,言下之意是:评审和系统里其他组件一样,需要版本管理、对比和迭代。

需要自己补上的:人工评分

“尽量少用人力”的目标在扩展阶段说得通,那时评审已经能在成千上万条输出上稳定运行。但在定义阶段说不通。

在客户报告里使用评审分数之前,先请客户的专家标注一小批样本,再把标注和评审分数对比。两者不一致,就先调整提示词,再扩大规模。

这一步也是赢得客户信任的一步。经客户自己团队确认过的数字,比任何仪表盘图表都更有说服力。

适合谁学,按什么顺序学

这门课适合已经有 LLM 应用在跑、但还没有评测套件的工程师。

先读 Weave 文档里的评分器概览(docs.coreweave.com/weave/guides/evaluation/scorers),为自己的项目写一个基于函数的评分器。

然后学第 3 章关于评估器结构的内容,最后再上手基于类的评审。

职业方面,看 FDE 招聘启事时,留意“evals”或“LLM-as-a-judge”这类字眼。简历上别写笼统的“有 LLM 评测经验”,而要描述你搭建的管道:用了多少个代码评分器,评审打分的是哪些标准,以及如何用人工标注校验评审。

这门课教你造出评审。在客户现场,更难的是证明评审打分正确,而 FDE 的工作正是从这里开始。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 3: AI 应用这门 65 分钟浏览器 Agent 课,值在两节编码课AgentQ 与 MCTS 理论略读即可,头条数字背后的失败率,才是 FDE 真正该学的一课。