# 测试 AI 集成，从成本最低的一层做起

> 断言和契约便宜、跑得快，能尽早发现错误；评测和端到端测试可以往后放，数量也应更少。

原文: https://fdetimes.net/zh/guides/ai-integration-testing-pyramid/

一个 Agent 处理发票的正确率是 90%，但连续三次都处理正确的概率只有 72.9%。这个差距决定了它能不能往客户的账本里记账，也是测试的构建顺序之所以重要的原因之一。

在客户现场，第一周很少有时间把 LLM 集成的每一层测试都搭起来。你得决定先写什么。选错了，最后得到的是一套又慢又不稳定的测试，客户能发现的故障，它还是比你晚一步。

Ham Vocke 在 Martin Fowler 博客上的《The Practical Test Pyramid》中阐述了测试金字塔，核心规则只有一条：层级越高，测试越少。把语言模型放进客户系统之后，这条规则依然成立，变的是每一层的含义。

Block 工程团队对这一变化概括得很到位：对 Agent 而言，金字塔的各层不再只是不同类型的测试，它们表示你愿意接受多大的不确定性。

## 四层，按不确定性排序

最底层是确定性断言。Hamel Husain 长期撰写 AI 产品评测相关的文章，他把这一层称为 Level 1，并强调绝不能跳过。断言检查的是代码能检查的东西：JSON 能否解析，字段是否齐全，有没有泄露不该泄露的数据。

第二层是契约。Martin Fowler 博客上 Vocke 的文章采用消费者驱动契约，由 API 的调用方决定契约必须包含哪些内容。Pact 工具把消费者与提供者之间的契约称为“pact”。

验证时，Pact 会把提供者的真实响应与消费者侧测试记录下来的最小响应做比对。这样，测试只检查你实际用到的部分。

Block 把这个思路搬到了 Agent 上：把与工具的真实交互录制一次，之后每次运行都回放这份录制，并对工具调用序列做断言。

模型每次的措辞可能不同，但调用外部系统的顺序是固定的。下面的例子比 Block 更进一步，连调用参数也一并检查。

第三层是评测。Anthropic 对评测的定义很简单：给 AI 系统一个输入，再对输出套用评分逻辑。对 Agent 来说，评分逻辑通常结合三种方式：基于代码的评分、基于模型的评分和人工评分。因此这一层已经不再完全确定。

最顶层是端到端测试。Martin Fowler 博客上的文章提醒，这类测试出了名地不稳定，失败的原因谁也预料不到。中间再放一个非确定性的模型，不稳定只会更严重。

| 层级 | 检查什么 | 失败时的常见原因 |
|---|---|---|
| 断言 | Schema、必填字段、硬性规则 | 代码 bug，或者提示词破坏了格式 |
| 契约 / 回放 | 客户的 API 和工具调用序列 | 客户改了 API，Agent 调用顺序出错 |
| 评测 | 真实案例上的输出质量 | 提示词变更、模型变更、新数据 |
| 端到端 | 从用户到目标系统的完整流程 | 网络、环境、延迟，以及以上所有原因 |

**要点:** 在 AI 系统里，每一层测试都对应一种你能接受的不确定性。

## 用一个真实集成走一遍

设想这样一个场景：你构建了一个 Agent，读取供应商的 PDF 发票，提取金额和采购订单号，再调用客户的 ERP API 创建一笔会计分录。故障可能来自三个方向：模型读错，你的代码处理错，或者 ERP API 返回了你没料到的内容。

断言层一个下午就能写完，运行不到一秒：

```python
def test_extraction_shape(extract):
    out = extract("fixtures/invoice_017.pdf")
    assert set(out) >= {"vendor_id", "amount", "currency", "po_number"}
    assert out["amount"] > 0
    assert out["currency"] in {"USD", "EUR", "VND"}
    assert out["po_number"].startswith("PO-")
```

这个测试不关心模型怎么措辞，只拦下下游代码肯定处理不了的输出。

对前线部署工程师（FDE）来说，契约层价值最大，因为客户的 API 不在你的控制之内。你在预发布环境里录制一次对 ERP 的真实调用，存成文件，然后写一个回放测试：

```python
def test_posting_flow(replay):
    calls = replay.run("cassettes/invoice_017.json")
    assert [c.tool for c in calls] == ["lookup_po", "create_journal_entry"]
    assert calls[1].args["amount"] == calls[0].result["open_amount"]
```

如果 Agent 跳过采购订单查询、直接记账，回放测试就会变红。但录制文件只是一次旧调用的记录。如果客户的 IT 团队下周把 `open_amount` 字段改了名，回放测试依然是绿的，因为它根本不碰真实 API。

这类故障需要单独做提供者侧检查，参照 Pact 的验证方式：拿消费者侧测试记录的最小响应，与预发布 API 的真实响应做比对。回放保证 Agent 按正确顺序调用；提供者侧验证告诉你客户的 API 什么时候变了。两者缺一不可。

评测方面，Anthropic 建议从小处着手：从真实失败中挑出 20-50 个简单任务，作为起点就足够了。两页的发票、金额按欧洲格式书写的发票、缺少采购订单号的发票，都该放进第一批。这些案例要从日志和工单里找，而不是坐在桌前编出来。

## 为什么 90% 会误导人

Anthropic 区分了两个指标。pass@k 是 k 次尝试中至少一次成功的概率。pass^k 是 k 次尝试全部成功的概率，这才是衡量可靠性的真正指标。

以一个 Agent 单次正确率为 90% 的发票案例来算。pass@3 是 1 − 0.1³，即 99.9%，看起来非常好。pass^3 是 0.9³，即 72.9%。如果 Agent 会自动往客户账本里记账，你必须报告的是第二个数字。

它不必是 100%。Husain 认为，通过率是一个产品决策，取决于你能容忍哪些失败。下游有人工复核的流程，也许能接受 72.9%；自动付款流程则不行。

这也是 Block 重新定义回归的原因。在非确定性系统里，输出变了还不算回归，成功率下降才是回归。改提示词时，应该对比前后的 pass^k，而不是逐条 diff 回答。

## 头两周该搭什么

Husain 按成本给各层排了序：Level 3 比 Level 2 贵，Level 2 比 Level 1 贵。这一点足以决定顺序。第一天，为下游代码用到的每个输出写断言。

接下来，一拿到客户预发布环境的访问权限，就录制真实的工具调用，搭好回放测试和提供者侧验证。这一步要早做：只有在还能访问预发布环境时才能录制，录好之后，后面大部分测试都不用再碰客户系统。

第二周，把最早的 20 个失败案例整理成评测集，每个案例跑多次，记录 pass^k。端到端测试放到最后：只覆盖少数几个一旦出错客户肯定会发现的流程，定时运行，不阻塞每次合并。

## 常见错误

最常见的错误是金字塔倒过来。几十个端到端测试调用真实模型和真实 ERP，每次运行要十分钟，还随机失败。几周后，团队对红色习以为常，不再信任这套测试。

第二个错误是把所有评分都交给另一个模型，而很多标准其实用代码就能检查。基于代码的评分便宜又确定，能用就用。基于模型的评分留给代码判断不了的部分。

第三个错误是给评测定 100% 的目标然后卡在那里，或者反过来，把每一处措辞变化都当成回归。两种做法都会让你追着随机波动跑，而 Agent 的真实质量纹丝不动。

作为职业技能，这一项很容易展示。简历上别写“为 AI 系统编写测试”，而是写你针对客户 API 搭建了契约层，并在每次提示词变更时跟踪 pass^k。

面试中如果被问到怎么判断一个 Agent 可以上生产环境，就画出这座金字塔，解释为什么要先搭底层。

Agent 上线那天，客户通常只关心一件事：下次模型更新时，他们怎么知道账本没被搞坏？契约层和 pass^k 数字，是一个有数据支撑的回答。

**本周动手试试:**

- 拿一个手头的 LLM 集成，为它的输出写 5 条断言：Schema 正确、必填字段齐全、取值在有效范围内。
- 录制一次对客户 API 的真实工具调用，再写一个回放测试，检查工具调用的顺序。
- 从日志或工单中收集 20 个真实失败案例，组成第一个评测集，每个案例跑 3 次，算出 pass^3。

## 信源

- [The Practical Test Pyramid](https://martinfowler.com/articles/practical-test-pyramid.html)

- [How Pact works](https://docs.pact.io/getting_started/how_pact_works)

- [Your AI Product Needs Evals](https://hamel.dev/blog/posts/evals/)

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [Testing Pyramid for AI Agents](https://engineering.block.xyz/blog/testing-pyramid-for-ai-agents)
