模型答对了,LLM 测试却仍然报错
字符串匹配经不起合理的格式差异;改用 pytest 断言 JSON 结构、结果数量等属性即可解决。
要点速览
- 模型用不同措辞给出正确答案时,字符串匹配会让测试失败。
- 先写结构测试(合法 JSON),再为每个场景添加属性断言,例如返回结果的数量。
- 每个测试运行多次,并与客户约定可接受的通过率。
模型返回了 {"listings":[{"id":42}]},正是用户想要的那套公寓,测试却失败了,原因是参考答案在每个冒号后面多了一个空格。数据完全正确,坏掉的是测试。
开发者很容易掉进这个坑。单元测试通常只有一个正确答案,所以拿 LLM 输出去比对参考字符串,看起来理所当然。
Anthropic 的工程师直接点出了这种做法的弱点:基于代码的评分器很脆弱,一旦遇到与预期模式不完全一致的合理变体就会出错。
修复它用的就是你手头已有的工具。Hamel Husain 在一篇谈 AI 产品评测的文章中,把 LLM 的单元测试简单定义为断言,和你在 pytest 里写的断言是同一种东西。工具不用换,换的是断言的内容。
要构建什么,需要准备什么
贯穿全文的示例来自 Husain 的文章:一个房源搜索功能,用户用自然语言输入问题,LLM 返回房源列表。
你将分五步写五个测试。第一个是字符串匹配测试,用来看清它如何失败。主要场景是:用户搜索一个精确地址,必须恰好得到一条结果。
你需要 Python、pytest,以及任意一个调用 LLM 的函数。下面的代码经过精简,把真实的客户端接入 call_model 即可。
# llm_app.py — 精简版;请把 call_model 换成真实客户端
def call_model(prompt: str) -> str:
raise NotImplementedError("在这里调用你的 LLM")
def search_listings(query: str) -> str:
prompt = ('Return JSON of the form {"listings": [...]} '
f"for the query: {query}")
return call_model(prompt)
第 1 步:看清字符串匹配为何失败
Anthropic 的文档对精确匹配的描述,和许多团队的现行做法一致:把输出与预先定义的正确答案比较,通常会先统一空白和大小写。下面的测试做的正是这件事。
GOLDEN = '{"listings": [{"id": 42}]}'
def test_exact_match():
out = search_listings("apartment 12, A Street")
assert out.strip().lower() == GOLDEN.strip().lower()
strip() 只去掉字符串两端的空白,JSON 内部的空格原封不动,所以开头那段紧凑的 JSON 仍然与参考答案对不上。
**检查:**让 call_model 临时返回 '{"listings":[{"id":42}]}'(不带空格),测试失败。模型自作主张加上一个 "price" 字段时,测试同样失败。保留这个测试,只是为了提醒自己别再这样写。
第 2 步:先测结构,因为成本最低
tianpan.co 博客上一篇分析 LLM 属性测试的文章指出,最容易检查的属性是结构,常见的例子是输出必须是合法 JSON。这项检查不需要额外调用 LLM 来评分。
import json
def test_output_is_valid_json():
raw = search_listings("apartment 12, A Street")
data = json.loads(raw) # 输出不是 JSON 时会抛出异常
assert "listings" in data
assert isinstance(data["listings"], list)
**检查:**让 call_model 返回 'Found 1 apartment'。测试必须失败,因为 json.loads 会报错。换成带空格或不带空格的 JSON,测试都能通过。测试套件从此不再依赖字符串的格式。
第 3 步:按场景断言属性
Husain 建议把 LLM 的职责拆分成功能和场景,而不是用一项检查包办一切。他的房源搜索示例只需要一行:len(listing_array) == 1。
def test_exact_address_returns_one_listing():
data = json.loads(search_listings("apartment 12, A Street"))
assert len(data["listings"]) == 1
这个测试不关心模型如何描述这套公寓,只断言用户真正需要的东西:搜索精确地址,不能返回五套公寓,也不能返回空列表。其他场景对应其他属性,比如一个模糊查询可能需要返回不止一条结果。
第 4 步:只跑一次说明不了问题
第 3 步的测试通过了,事情并没有结束。Anthropic 团队提醒,由于 LLM 具有不确定性,一个任务可能这次评测通过、下次就失败。tianpan.co 的文章建议把每个测试运行多次,并要求达到最低通过率,例如 10 次中通过 8 次。
RUNS = 10
MIN_PASS = 8
def passes_once(query: str) -> bool:
try:
data = json.loads(search_listings(query))
except json.JSONDecodeError:
return False
return len(data.get("listings", [])) == 1
def test_exact_address_pass_rate():
ok = sum(passes_once("apartment 12, A Street") for _ in range(RUNS))
assert ok >= MIN_PASS, f"{RUNS} 次运行中仅通过 {ok} 次"
举个例子。十次运行中,7 次恰好返回一套公寓,2 次返回两套,1 次返回了纯文本而不是 JSON。
这就是 7/10,即 70%,低于阈值 8。测试失败,并给出提示“10 次运行中仅通过 7 次”。这个数字提供的信息,远多于一个时过时不过、毫无解释的不稳定测试。
**检查:**针对真实模型连续运行这个测试两次。如果结果在阈值附近波动,你就测出了这个功能真实的稳定程度。
8/10 由谁来定?
这个数字不该由工程师单独决定。Husain 写道,通过率是产品决策,取决于哪些失败可以接受。传统单元测试要求 100%,而这里的阈值反映的是业务需求。房源搜索返回一套错误的公寓,也许可以接受;合同摘要错了一个条款,就不行。
也不要把通过率和 pass@k 混为一谈。按照 Anthropic 的说法,pass@k 衡量的是在 k 次尝试中至少得到一个正确解的概率,适用于用户可以重试、或系统能自行挑选最佳结果的情况。
对于只回答一次的功能,10 次运行中有 1 次正确就足以满足 pass@10,但用户仍会收到 9 个错误答案。这就是第 4 步的示例统计通过次数、而不用 pass@k 的原因。
第 5 步:当属性是语义而非结构
有些属性无法计数,比如“改写后必须保留原意”。tianpan.co 的文章建议比较嵌入相似度,并断言得分不低于 0.8。
0.8 只是一个经验值,你需要用自己的数据来校准。下面是伪代码,similarity 是你用自己选的嵌入模型实现的函数。
# 伪代码:similarity() 需要你自己实现
def test_paraphrase_keeps_meaning():
original = "2-bedroom apartment near a school"
rewritten = rewrite(original)
assert similarity(original, rewritten) >= 0.8
同一篇文章还用 Python 的 Hypothesis 库自动生成输入,能发现手写评测漏掉的 bug。这一步放到最后做。在第 2 步和第 4 步稳定之前,生成更多输入只会带来更多失败的测试。
常见错误
第一个错误是把所有东西塞进一个巨型测试。它一旦失败,你分不清是哪个场景出了问题。按照 Husain 的建议,每个场景写一个测试。
第二个错误是在第 4 步中让 JSON 异常中断整个循环。模型返回纯文本的那次运行应当算作一次失败,而不是让整个测试停下来。
第三个错误更难察觉:过早引入 LLM 评分器。Anthropic 建议在设计问题时,尽可能让代码来评分。检查 JSON、统计元素数量既便宜又快,而且每次结果都一样。
这项技能在客户项目中的用武之地
设想项目进行到第二周,客户问:“这个机器人行不行?”含糊的回答会让你失去他们的信任。
有了上面这些测试,你可以给出具体答案:地址搜索场景 10 次运行通过 7 次。团队能接受吗,还是需要 9/10?
这个问题把一种直觉变成了一项有明确负责人的产品决策。
简历上别写“为 AI 功能编写了测试”。要写清楚:你把字符串匹配测试换成了属性断言,与客户共同设定了通过率阈值,并展示修复提示词之后通过率如何变化。
一个覆盖这五个步骤的小型代码仓库,就是你可以轻松带进面试的证据。
下次再看到失败的测试,先别急着问模型错在哪里,而是先检查:测试是不是在向模型要求用户其实并不需要的东西。
这篇文章对你有帮助吗?
感谢你的反馈!