# 模型答对了，LLM 测试却仍然报错

> 字符串匹配经不起合理的格式差异；改用 pytest 断言 JSON 结构、结果数量等属性即可解决。

原文: https://fdetimes.net/zh/guides/llm-tests-property-assertions-pytest/

模型返回了 `{"listings":[{"id":42}]}`，正是用户想要的那套公寓，测试却失败了，原因是参考答案在每个冒号后面多了一个空格。数据完全正确，坏掉的是测试。

开发者很容易掉进这个坑。单元测试通常只有一个正确答案，所以拿 LLM 输出去比对参考字符串，看起来理所当然。

Anthropic 的工程师直接点出了这种做法的弱点：基于代码的评分器很脆弱，一旦遇到与预期模式不完全一致的合理变体就会出错。

修复它用的就是你手头已有的工具。Hamel Husain 在一篇谈 AI 产品评测的文章中，把 LLM 的单元测试简单定义为断言，和你在 pytest 里写的断言是同一种东西。工具不用换，换的是断言的内容。

## 要构建什么，需要准备什么

贯穿全文的示例来自 Husain 的文章：一个房源搜索功能，用户用自然语言输入问题，LLM 返回房源列表。

你将分五步写五个测试。第一个是字符串匹配测试，用来看清它如何失败。主要场景是：用户搜索一个精确地址，必须恰好得到一条结果。

你需要 Python、pytest，以及任意一个调用 LLM 的函数。下面的代码经过精简，把真实的客户端接入 `call_model` 即可。

```python
# llm_app.py — 精简版；请把 call_model 换成真实客户端
def call_model(prompt: str) -> str:
    raise NotImplementedError("在这里调用你的 LLM")

def search_listings(query: str) -> str:
    prompt = ('Return JSON of the form {"listings": [...]} '
              f"for the query: {query}")
    return call_model(prompt)
```

## 第 1 步：看清字符串匹配为何失败

Anthropic 的文档对精确匹配的描述，和许多团队的现行做法一致：把输出与预先定义的正确答案比较，通常会先统一空白和大小写。下面的测试做的正是这件事。

```python
GOLDEN = '{"listings": [{"id": 42}]}'

def test_exact_match():
    out = search_listings("apartment 12, A Street")
    assert out.strip().lower() == GOLDEN.strip().lower()
```

`strip()` 只去掉字符串两端的空白，JSON 内部的空格原封不动，所以开头那段紧凑的 JSON 仍然与参考答案对不上。

**检查：**让 `call_model` 临时返回 `'{"listings":[{"id":42}]}'`（不带空格），测试失败。模型自作主张加上一个 `"price"` 字段时，测试同样失败。保留这个测试，只是为了提醒自己别再这样写。

## 第 2 步：先测结构，因为成本最低

tianpan.co 博客上一篇分析 LLM 属性测试的文章指出，最容易检查的属性是结构，常见的例子是输出必须是合法 JSON。这项检查不需要额外调用 LLM 来评分。

```python
import json

def test_output_is_valid_json():
    raw = search_listings("apartment 12, A Street")
    data = json.loads(raw)  # 输出不是 JSON 时会抛出异常
    assert "listings" in data
    assert isinstance(data["listings"], list)
```

**检查：**让 `call_model` 返回 `'Found 1 apartment'`。测试必须失败，因为 `json.loads` 会报错。换成带空格或不带空格的 JSON，测试都能通过。测试套件从此不再依赖字符串的格式。

## 第 3 步：按场景断言属性

Husain 建议把 LLM 的职责拆分成功能和场景，而不是用一项检查包办一切。他的房源搜索示例只需要一行：`len(listing_array) == 1`。

```python
def test_exact_address_returns_one_listing():
    data = json.loads(search_listings("apartment 12, A Street"))
    assert len(data["listings"]) == 1
```

这个测试不关心模型如何描述这套公寓，只断言用户真正需要的东西：搜索精确地址，不能返回五套公寓，也不能返回空列表。其他场景对应其他属性，比如一个模糊查询可能需要返回不止一条结果。

**要点:** 检查输出是否具备它应有的属性，不要求它逐字一致。

## 第 4 步：只跑一次说明不了问题

第 3 步的测试通过了，事情并没有结束。Anthropic 团队提醒，由于 LLM 具有不确定性，一个任务可能这次评测通过、下次就失败。tianpan.co 的文章建议把每个测试运行多次，并要求达到最低通过率，例如 10 次中通过 8 次。

```python
RUNS = 10
MIN_PASS = 8

def passes_once(query: str) -> bool:
    try:
        data = json.loads(search_listings(query))
    except json.JSONDecodeError:
        return False
    return len(data.get("listings", [])) == 1

def test_exact_address_pass_rate():
    ok = sum(passes_once("apartment 12, A Street") for _ in range(RUNS))
    assert ok >= MIN_PASS, f"{RUNS} 次运行中仅通过 {ok} 次"
```

举个例子。十次运行中，7 次恰好返回一套公寓，2 次返回两套，1 次返回了纯文本而不是 JSON。

这就是 7/10，即 70%，低于阈值 8。测试失败，并给出提示“10 次运行中仅通过 7 次”。这个数字提供的信息，远多于一个时过时不过、毫无解释的不稳定测试。

**检查：**针对真实模型连续运行这个测试两次。如果结果在阈值附近波动，你就测出了这个功能真实的稳定程度。

## 8/10 由谁来定？

这个数字不该由工程师单独决定。Husain 写道，通过率是产品决策，取决于哪些失败可以接受。传统单元测试要求 100%，而这里的阈值反映的是业务需求。房源搜索返回一套错误的公寓，也许可以接受；合同摘要错了一个条款，就不行。

也不要把通过率和 pass@k 混为一谈。按照 Anthropic 的说法，pass@k 衡量的是在 k 次尝试中至少得到一个正确解的概率，适用于用户可以重试、或系统能自行挑选最佳结果的情况。

对于只回答一次的功能，10 次运行中有 1 次正确就足以满足 pass@10，但用户仍会收到 9 个错误答案。这就是第 4 步的示例统计通过次数、而不用 pass@k 的原因。

## 第 5 步：当属性是语义而非结构

有些属性无法计数，比如“改写后必须保留原意”。tianpan.co 的文章建议比较嵌入相似度，并断言得分不低于 0.8。

0.8 只是一个经验值，你需要用自己的数据来校准。下面是伪代码，`similarity` 是你用自己选的嵌入模型实现的函数。

```python
# 伪代码：similarity() 需要你自己实现
def test_paraphrase_keeps_meaning():
    original = "2-bedroom apartment near a school"
    rewritten = rewrite(original)
    assert similarity(original, rewritten) >= 0.8
```

同一篇文章还用 Python 的 Hypothesis 库自动生成输入，能发现手写评测漏掉的 bug。这一步放到最后做。在第 2 步和第 4 步稳定之前，生成更多输入只会带来更多失败的测试。

## 常见错误

第一个错误是把所有东西塞进一个巨型测试。它一旦失败，你分不清是哪个场景出了问题。按照 Husain 的建议，每个场景写一个测试。

第二个错误是在第 4 步中让 JSON 异常中断整个循环。模型返回纯文本的那次运行应当算作一次失败，而不是让整个测试停下来。

第三个错误更难察觉：过早引入 LLM 评分器。Anthropic 建议在设计问题时，尽可能让代码来评分。检查 JSON、统计元素数量既便宜又快，而且每次结果都一样。

## 这项技能在客户项目中的用武之地

设想项目进行到第二周，客户问：“这个机器人行不行？”含糊的回答会让你失去他们的信任。

有了上面这些测试，你可以给出具体答案：地址搜索场景 10 次运行通过 7 次。团队能接受吗，还是需要 9/10？

这个问题把一种直觉变成了一项有明确负责人的产品决策。

简历上别写“为 AI 功能编写了测试”。要写清楚：你把字符串匹配测试换成了属性断言，与客户共同设定了通过率阈值，并展示修复提示词之后通过率如何变化。

一个覆盖这五个步骤的小型代码仓库，就是你可以轻松带进面试的证据。

下次再看到失败的测试，先别急着问模型错在哪里，而是先检查：测试是不是在向模型要求用户其实并不需要的东西。

**本周动手试试:**

- 挑一个你正在开发的 LLM 功能，列出三个场景，每个场景写一条属性断言。
- 把一个测试包进 10 次运行的循环，记录实际通过率，并把这个数字带到下一次客户会议上。
- 把仓库里的一个字符串匹配测试，换成检查合法 JSON 和必填字段的测试。

## 信源

- [Your AI Product Needs Evals](https://hamel.dev/blog/posts/evals/)

- [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)

- [Demystifying evals for AI agents](https://anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [Property-Based Testing for LLM Outputs: Finding the Bugs Your Eval Set Never Imagined](https://tianpan.co/blog/2026-04-17-property-based-testing-llm-outputs)
