FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

模型答对了,LLM 测试却仍然报错

字符串匹配经不起合理的格式差异;改用 pytest 断言 JSON 结构、结果数量等属性即可解决。

分享微博

要点速览

  • 模型用不同措辞给出正确答案时,字符串匹配会让测试失败。
  • 先写结构测试(合法 JSON),再为每个场景添加属性断言,例如返回结果的数量。
  • 每个测试运行多次,并与客户约定可接受的通过率。
一张堆叠条形图,展示同一测试运行 10 次的结果:7 次恰好返回一套房源,2 次返回两套房源,1 次返回纯文本而不是 JSON。一条橙色线标出 8/10 的通过阈值。“恰好一套房源”的条形没有达到这条线,因此测试失败。
同一测试运行 10 次,才能看出功能的真实稳定性:通过 7 次,未达到 8 次的阈值。来源:文中示例;8/10 阈值参考 tianpan.co 博客的建议。

模型返回了 {"listings":[{"id":42}]},正是用户想要的那套公寓,测试却失败了,原因是参考答案在每个冒号后面多了一个空格。数据完全正确,坏掉的是测试。

开发者很容易掉进这个坑。单元测试通常只有一个正确答案,所以拿 LLM 输出去比对参考字符串,看起来理所当然。

Anthropic 的工程师直接点出了这种做法的弱点:基于代码的评分器很脆弱,一旦遇到与预期模式不完全一致的合理变体就会出错。

修复它用的就是你手头已有的工具。Hamel Husain 在一篇谈 AI 产品评测的文章中,把 LLM 的单元测试简单定义为断言,和你在 pytest 里写的断言是同一种东西。工具不用换,换的是断言的内容。

要构建什么,需要准备什么

贯穿全文的示例来自 Husain 的文章:一个房源搜索功能,用户用自然语言输入问题,LLM 返回房源列表。

你将分五步写五个测试。第一个是字符串匹配测试,用来看清它如何失败。主要场景是:用户搜索一个精确地址,必须恰好得到一条结果。

你需要 Python、pytest,以及任意一个调用 LLM 的函数。下面的代码经过精简,把真实的客户端接入 call_model 即可。

# llm_app.py — 精简版;请把 call_model 换成真实客户端
def call_model(prompt: str) -> str:
    raise NotImplementedError("在这里调用你的 LLM")

def search_listings(query: str) -> str:
    prompt = ('Return JSON of the form {"listings": [...]} '
              f"for the query: {query}")
    return call_model(prompt)

第 1 步:看清字符串匹配为何失败

Anthropic 的文档对精确匹配的描述,和许多团队的现行做法一致:把输出与预先定义的正确答案比较,通常会先统一空白和大小写。下面的测试做的正是这件事。

GOLDEN = '{"listings": [{"id": 42}]}'

def test_exact_match():
    out = search_listings("apartment 12, A Street")
    assert out.strip().lower() == GOLDEN.strip().lower()

strip() 只去掉字符串两端的空白,JSON 内部的空格原封不动,所以开头那段紧凑的 JSON 仍然与参考答案对不上。

**检查:**让 call_model 临时返回 '{"listings":[{"id":42}]}'(不带空格),测试失败。模型自作主张加上一个 "price" 字段时,测试同样失败。保留这个测试,只是为了提醒自己别再这样写。

第 2 步:先测结构,因为成本最低

tianpan.co 博客上一篇分析 LLM 属性测试的文章指出,最容易检查的属性是结构,常见的例子是输出必须是合法 JSON。这项检查不需要额外调用 LLM 来评分。

import json

def test_output_is_valid_json():
    raw = search_listings("apartment 12, A Street")
    data = json.loads(raw)  # 输出不是 JSON 时会抛出异常
    assert "listings" in data
    assert isinstance(data["listings"], list)

**检查:**让 call_model 返回 'Found 1 apartment'。测试必须失败,因为 json.loads 会报错。换成带空格或不带空格的 JSON,测试都能通过。测试套件从此不再依赖字符串的格式。

第 3 步:按场景断言属性

Husain 建议把 LLM 的职责拆分成功能和场景,而不是用一项检查包办一切。他的房源搜索示例只需要一行:len(listing_array) == 1。

def test_exact_address_returns_one_listing():
    data = json.loads(search_listings("apartment 12, A Street"))
    assert len(data["listings"]) == 1

这个测试不关心模型如何描述这套公寓,只断言用户真正需要的东西:搜索精确地址,不能返回五套公寓,也不能返回空列表。其他场景对应其他属性,比如一个模糊查询可能需要返回不止一条结果。

第 4 步:只跑一次说明不了问题

第 3 步的测试通过了,事情并没有结束。Anthropic 团队提醒,由于 LLM 具有不确定性,一个任务可能这次评测通过、下次就失败。tianpan.co 的文章建议把每个测试运行多次,并要求达到最低通过率,例如 10 次中通过 8 次。

RUNS = 10
MIN_PASS = 8

def passes_once(query: str) -> bool:
    try:
        data = json.loads(search_listings(query))
    except json.JSONDecodeError:
        return False
    return len(data.get("listings", [])) == 1

def test_exact_address_pass_rate():
    ok = sum(passes_once("apartment 12, A Street") for _ in range(RUNS))
    assert ok >= MIN_PASS, f"{RUNS} 次运行中仅通过 {ok} 次"

举个例子。十次运行中,7 次恰好返回一套公寓,2 次返回两套,1 次返回了纯文本而不是 JSON。

这就是 7/10,即 70%,低于阈值 8。测试失败,并给出提示“10 次运行中仅通过 7 次”。这个数字提供的信息,远多于一个时过时不过、毫无解释的不稳定测试。

**检查:**针对真实模型连续运行这个测试两次。如果结果在阈值附近波动,你就测出了这个功能真实的稳定程度。

8/10 由谁来定?

这个数字不该由工程师单独决定。Husain 写道,通过率是产品决策,取决于哪些失败可以接受。传统单元测试要求 100%,而这里的阈值反映的是业务需求。房源搜索返回一套错误的公寓,也许可以接受;合同摘要错了一个条款,就不行。

也不要把通过率和 pass@k 混为一谈。按照 Anthropic 的说法,pass@k 衡量的是在 k 次尝试中至少得到一个正确解的概率,适用于用户可以重试、或系统能自行挑选最佳结果的情况。

对于只回答一次的功能,10 次运行中有 1 次正确就足以满足 pass@10,但用户仍会收到 9 个错误答案。这就是第 4 步的示例统计通过次数、而不用 pass@k 的原因。

第 5 步:当属性是语义而非结构

有些属性无法计数,比如“改写后必须保留原意”。tianpan.co 的文章建议比较嵌入相似度,并断言得分不低于 0.8。

0.8 只是一个经验值,你需要用自己的数据来校准。下面是伪代码,similarity 是你用自己选的嵌入模型实现的函数。

# 伪代码:similarity() 需要你自己实现
def test_paraphrase_keeps_meaning():
    original = "2-bedroom apartment near a school"
    rewritten = rewrite(original)
    assert similarity(original, rewritten) >= 0.8

同一篇文章还用 Python 的 Hypothesis 库自动生成输入,能发现手写评测漏掉的 bug。这一步放到最后做。在第 2 步和第 4 步稳定之前,生成更多输入只会带来更多失败的测试。

常见错误

第一个错误是把所有东西塞进一个巨型测试。它一旦失败,你分不清是哪个场景出了问题。按照 Husain 的建议,每个场景写一个测试。

第二个错误是在第 4 步中让 JSON 异常中断整个循环。模型返回纯文本的那次运行应当算作一次失败,而不是让整个测试停下来。

第三个错误更难察觉:过早引入 LLM 评分器。Anthropic 建议在设计问题时,尽可能让代码来评分。检查 JSON、统计元素数量既便宜又快,而且每次结果都一样。

这项技能在客户项目中的用武之地

设想项目进行到第二周,客户问:“这个机器人行不行?”含糊的回答会让你失去他们的信任。

有了上面这些测试,你可以给出具体答案:地址搜索场景 10 次运行通过 7 次。团队能接受吗,还是需要 9/10?

这个问题把一种直觉变成了一项有明确负责人的产品决策。

简历上别写“为 AI 功能编写了测试”。要写清楚:你把字符串匹配测试换成了属性断言,与客户共同设定了通过率阈值,并展示修复提示词之后通过率如何变化。

一个覆盖这五个步骤的小型代码仓库,就是你可以轻松带进面试的证据。

下次再看到失败的测试,先别急着问模型错在哪里,而是先检查:测试是不是在向模型要求用户其实并不需要的东西。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 3: AI 应用RAG 演示一切顺利,直到财务总监开口提问错误码要靠关键词检索,汇总数字要靠 SQL,先给客户的问题分类,再去挑向量数据库。