FDE Times 数据在招 FDE 职位 881▼3 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 184支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Ragas 不用标准答案也能给 RAG 打分,陷阱正在于此

没有人工标注,打分的就是另一个 LLM,这种分数适合做回归检查,不宜未经核实写进董事会汇报。

分享微博

要点速览

  • Ragas 最擅长 RAG 指标和测试数据生成,不需要人工编写的标注。DeepEval 最擅长把 LLM 输出变成能在 CI 中运行的单元测试。
  • 两个库里大多数重要指标都由 LLM 打分。这类评委会受位置和长度影响,并且偏爱与自己文风相近的答案。
  • 先用命中率衡量检索,这一步不需要评委;同时始终拿评委的分数,与客户方领域专家手工评分的样本作对比。
包含两个问题的决策图。第一个问题:正确的来源段落是否进入前 5 名?如果没有,修正分块、嵌入和搜索;如果有,进入以橙色突出显示的第二个问题:LLM 评委的分数与人工评分是否一致?如果不一致,修正 G-Eval 标准;如果一致,把这些用例写成在 CI 中运行的 DeepEval 测试。
先测命中率,这一步不需要 LLM 评委。然后把评委分数与客户方专家手工评分的 20–30 个答案作对比,之后再把这些用例作为测试放进 CI。

Ragas 可以在没有人事先写好正确答案的情况下给 RAG 管道打分。Shahul Es 等人的原始论文最早发表于 2023 年 9 月,把这种方式称为“无参考”(reference-free)评测:不需要人工标注的标准答案。

当客户问前线部署工程师(FDE)“这个机器人有百分之几的时候是对的?”,这项特性既是帮手,也是陷阱。

说它是帮手,是因为客户手上往往没有一套现成的、带人工标注答案的问题集,而 Ragas 起步时并不需要。说它是陷阱,是因为没有人工标注时,负责打分的通常是另一个 LLM。

一个保留两位小数的数字看起来很精确,但它的可靠程度取决于产出它的那个模型。

因此,Ragas 和 DeepEval 的正确用法是获取快速信号、发现回归问题。不要在任何人核实之前,就把某个数字放进给董事会的幻灯片。

Ragas 负责度量,DeepEval 负责测试

Ragas 自称是一个评测 LLM 应用的库。代码仓库目前归在 GitHub 上的 vibrantlabsai 组织下,采用 Apache-2.0 许可证。它同时提供基于 LLM 的指标和传统指标,可以用装饰器编写自定义指标,还能生成覆盖多种场景的合成测试数据集。

Microsoft 的实践手册把 Ragas 的 RAG 指标分成两组。忠实度(faithfulness)和答案相关性(answer relevancy)衡量生成;上下文相关性(context relevancy)和上下文召回率(context recall)衡量检索。其中,忠实度会对答案中每一条无法从上下文推断出的论断扣分。

DeepEval 的思路不同。开发者把它定位为“LLM 应用的 Pytest”:开源、本地优先、Apache 2.0 许可,内置 50 多个指标(包括 LLM 评委),既能做端到端评测,也能逐个组件评测。

它的核心做法是针对 LLM 输出编写 Pytest 风格的断言,并在 CI 中运行。

Ragas

  • 区分检索与生成的 RAG 指标
  • 无需人工标注即可评测
  • 生成合成测试集
  • 通过装饰器编写自定义指标

DeepEval

  • 针对 LLM 输出的 Pytest 风格断言
  • 可在 CI 中运行
  • 50 多个指标,包括忠实度和 G-Eval
  • 端到端评测与组件级评测

内部知识库机器人从哪里开始评

假设你在为一家银行部署一个回答内部流程问题的机器人,手上有 50 个员工提交的真实问题。不要一上来就跑忠实度,先测命中率。据 Evidently AI 介绍,这是一个二元指标,只检查前 K 个结果中是否至少有一段相关内容,不需要 LLM 评委。

假设 50 个问题中有 35 个的正确段落出现在前 5 名,命中率就是 70%。剩下 15 个问题,提示词写得再好,机器人也答不对,因为它需要的文档根本没有送到模型面前。要修的是分块、嵌入或搜索。

检索靠得住之后,再去衡量生成。假设一个答案包含四条论断,其中一条不在上下文里,忠实度扣分扣的正是这一条。这正是 Ragas 的价值所在:它能区分“检索到了错误的文档”和“自己编造内容”,这两类故障需要不同的修法。

Ragas 的合成测试集可以在最初 50 个问题的基础上扩充。最后一步,是把机器人曾经答错的问题写成带分数阈值的 DeepEval 测试。如果客户在第三周修改了分块大小,CI 会立刻显示哪些问题出了问题,赶在用户投诉之前。

谁来给评委打分?

DeepEval 的忠实度指标检查输出与检索上下文在事实上是否一致;G-Eval 则允许按自定义标准打分。两者都由 LLM 打分,而 Microsoft 提醒,这类评委存在可靠性问题,包括位置偏差、长度偏差和自我增强偏差。

Evidently AI 说得更具体:评委可能偏爱更长、更精致,或者更接近其自身风格的答案。评委的水平取决于它的提示词和底层模型。所以,0.85 的忠实度分数并不是事实,而是某个特定模型在某个特定提示词下给出的意见。

Microsoft 也明确表示,人工审查仍然必不可少,尤其是领域性强的任务。实际做法是:取 20 到 30 个问题,请客户方的专家手工打分,再与评委的分数比较。如果两者差距明显,先修正 G-Eval 中的评分标准,再去相信任何看板。

最常见的错误

第一个常见错误,是问题出在检索,却去改提示词。在上面的银行例子里,花一周改写提示词,也救不回那 15 个正确文档没能进入前 5 名的问题。命中率低,就先回到分块和搜索。

第二个错误,是信任一套没人审过的合成问题集。机器生成的问题未必像银行员工的真实提问方式,所以要请客户方的人快速过一遍,在进入测试集之前删掉跑偏的问题。

第三个错误,是让同一个模型既生成答案又给答案打分。考虑到 Microsoft 和 Evidently AI 所说的自我增强偏差,这往往会得出偏高的分数。最后一个错误,是在没有用任何人工评分样本核对的情况下,就把评委的分数报给客户。

先学什么,简历上写什么

合理的学习顺序是:先学不需要评委的检索指标,再学忠实度和上下文召回率,最后把评测接入 CI。如果职位描述里出现“evaluation”“eval harness”或“LLM-as-a-judge”,面试时要准备好一个自己搭建过的评测套件的具体例子。

简历上可以写“搭建了 50 个问题的评测套件,区分了检索错误与生成错误,并用人工评分核对评委分数”,而不是“熟悉 Ragas”。前者让读者看到你知道该在哪里保持怀疑,后者只说明你装过一个库。

学会调用一个库只需要一个下午。向客户解释为什么 0.85 分还不足以上线,才是难点,也正是客户最需要 FDE 的地方。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 6: 价值度量LLM 上线后,客户必问的三个问题Langfuse 用追踪、成本统计和评测作答,还能自托管在客户内网,这正是安全团队最先问的。