# Ragas 不用标准答案也能给 RAG 打分，陷阱正在于此

> 没有人工标注，打分的就是另一个 LLM，这种分数适合做回归检查，不宜未经核实写进董事会汇报。

原文: https://fdetimes.net/zh/tools/ragas-deepeval-rag-evaluation-llm-judge/

Ragas 可以在没有人事先写好正确答案的情况下给 RAG 管道打分。Shahul Es 等人的原始论文最早发表于 2023 年 9 月，把这种方式称为“无参考”（reference-free）评测：不需要人工标注的标准答案。

当客户问前线部署工程师（FDE）“这个机器人有百分之几的时候是对的？”，这项特性既是帮手，也是陷阱。

说它是帮手，是因为客户手上往往没有一套现成的、带人工标注答案的问题集，而 Ragas 起步时并不需要。说它是陷阱，是因为没有人工标注时，负责打分的通常是另一个 LLM。

一个保留两位小数的数字看起来很精确，但它的可靠程度取决于产出它的那个模型。

因此，Ragas 和 DeepEval 的正确用法是获取快速信号、发现回归问题。不要在任何人核实之前，就把某个数字放进给董事会的幻灯片。

## Ragas 负责度量，DeepEval 负责测试

Ragas 自称是一个评测 LLM 应用的库。代码仓库目前归在 GitHub 上的 vibrantlabsai 组织下，采用 Apache-2.0 许可证。它同时提供基于 LLM 的指标和传统指标，可以用装饰器编写自定义指标，还能生成覆盖多种场景的合成测试数据集。

Microsoft 的实践手册把 Ragas 的 RAG 指标分成两组。忠实度（faithfulness）和答案相关性（answer relevancy）衡量生成；上下文相关性（context relevancy）和上下文召回率（context recall）衡量检索。其中，忠实度会对答案中每一条无法从上下文推断出的论断扣分。

DeepEval 的思路不同。开发者把它定位为“LLM 应用的 Pytest”：开源、本地优先、Apache 2.0 许可，内置 50 多个指标（包括 LLM 评委），既能做端到端评测，也能逐个组件评测。

它的核心做法是针对 LLM 输出编写 Pytest 风格的断言，并在 CI 中运行。

## 内部知识库机器人从哪里开始评

假设你在为一家银行部署一个回答内部流程问题的机器人，手上有 50 个员工提交的真实问题。不要一上来就跑忠实度，先测命中率。据 Evidently AI 介绍，这是一个二元指标，只检查前 K 个结果中是否至少有一段相关内容，不需要 LLM 评委。

假设 50 个问题中有 35 个的正确段落出现在前 5 名，命中率就是 70%。剩下 15 个问题，提示词写得再好，机器人也答不对，因为它需要的文档根本没有送到模型面前。要修的是分块、嵌入或搜索。

检索靠得住之后，再去衡量生成。假设一个答案包含四条论断，其中一条不在上下文里，忠实度扣分扣的正是这一条。这正是 Ragas 的价值所在：它能区分“检索到了错误的文档”和“自己编造内容”，这两类故障需要不同的修法。

Ragas 的合成测试集可以在最初 50 个问题的基础上扩充。最后一步，是把机器人曾经答错的问题写成带分数阈值的 DeepEval 测试。如果客户在第三周修改了分块大小，CI 会立刻显示哪些问题出了问题，赶在用户投诉之前。

## 谁来给评委打分？

DeepEval 的忠实度指标检查输出与检索上下文在事实上是否一致；G-Eval 则允许按自定义标准打分。两者都由 LLM 打分，而 Microsoft 提醒，这类评委存在可靠性问题，包括位置偏差、长度偏差和自我增强偏差。

Evidently AI 说得更具体：评委可能偏爱更长、更精致，或者更接近其自身风格的答案。评委的水平取决于它的提示词和底层模型。所以，0.85 的忠实度分数并不是事实，而是某个特定模型在某个特定提示词下给出的意见。

**要点:** LLM 评委给出的分数是一个有待检验的假设，而不是测量结果。

Microsoft 也明确表示，人工审查仍然必不可少，尤其是领域性强的任务。实际做法是：取 20 到 30 个问题，请客户方的专家手工打分，再与评委的分数比较。如果两者差距明显，先修正 G-Eval 中的评分标准，再去相信任何看板。

## 最常见的错误

第一个常见错误，是问题出在检索，却去改提示词。在上面的银行例子里，花一周改写提示词，也救不回那 15 个正确文档没能进入前 5 名的问题。命中率低，就先回到分块和搜索。

第二个错误，是信任一套没人审过的合成问题集。机器生成的问题未必像银行员工的真实提问方式，所以要请客户方的人快速过一遍，在进入测试集之前删掉跑偏的问题。

第三个错误，是让同一个模型既生成答案又给答案打分。考虑到 Microsoft 和 Evidently AI 所说的自我增强偏差，这往往会得出偏高的分数。最后一个错误，是在没有用任何人工评分样本核对的情况下，就把评委的分数报给客户。

## 先学什么，简历上写什么

合理的学习顺序是：先学不需要评委的检索指标，再学忠实度和上下文召回率，最后把评测接入 CI。如果职位描述里出现“evaluation”“eval harness”或“LLM-as-a-judge”，面试时要准备好一个自己搭建过的评测套件的具体例子。

简历上可以写“搭建了 50 个问题的评测套件，区分了检索错误与生成错误，并用人工评分核对评委分数”，而不是“熟悉 Ragas”。前者让读者看到你知道该在哪里保持怀疑，后者只说明你装过一个库。

学会调用一个库只需要一个下午。向客户解释为什么 0.85 分还不足以上线，才是难点，也正是客户最需要 FDE 的地方。

**本周动手试试:**

- 为手头已有的 RAG 管道写 30 个真实问题，逐个手工标出正确段落，然后在不用 LLM 评委的情况下计算前 5 名的命中率
- 对同样 30 个问题跑 Ragas 忠实度，自己给其中 10 个打分，记下你和评委意见不一致的地方
- 把机器人曾经答错的 3 个问题写成带分数阈值的 DeepEval 测试，并在 CI 中运行

## 信源

- [Ragas](https://docs.ragas.io/en/stable/)

- [ragas](https://github.com/vibrantlabsai/ragas)

- [Ragas: Automated Evaluation of Retrieval Augmented Generation](https://arxiv.org/abs/2309.15217)

- [Introduction to DeepEval](https://deepeval.com/docs/introduction)

- [deepeval](https://github.com/confident-ai/deepeval)

- [Evaluation metrics | Microsoft Learn](https://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics)

- [LLM evaluation metrics and methods, explained simply](https://www.evidentlyai.com/llm-guide/llm-evaluation-metrics)
