测试 AI 集成,从成本最低的一层做起
断言和契约便宜、跑得快,能尽早发现错误;评测和端到端测试可以往后放,数量也应更少。
要点速览
- 对 Agent 来说,金字塔的每一层既是一类测试,也代表你能接受多大的不确定性。
- 先写断言和契约:成本低、跑得快,能发现与客户系统集成时出的故障。
- 评测从 20-50 个真实失败案例做起,端到端测试只留给少数最关键的流程。
一个 Agent 处理发票的正确率是 90%,但连续三次都处理正确的概率只有 72.9%。这个差距决定了它能不能往客户的账本里记账,也是测试的构建顺序之所以重要的原因之一。
在客户现场,第一周很少有时间把 LLM 集成的每一层测试都搭起来。你得决定先写什么。选错了,最后得到的是一套又慢又不稳定的测试,客户能发现的故障,它还是比你晚一步。
Ham Vocke 在 Martin Fowler 博客上的《The Practical Test Pyramid》中阐述了测试金字塔,核心规则只有一条:层级越高,测试越少。把语言模型放进客户系统之后,这条规则依然成立,变的是每一层的含义。
Block 工程团队对这一变化概括得很到位:对 Agent 而言,金字塔的各层不再只是不同类型的测试,它们表示你愿意接受多大的不确定性。
四层,按不确定性排序
最底层是确定性断言。Hamel Husain 长期撰写 AI 产品评测相关的文章,他把这一层称为 Level 1,并强调绝不能跳过。断言检查的是代码能检查的东西:JSON 能否解析,字段是否齐全,有没有泄露不该泄露的数据。
第二层是契约。Martin Fowler 博客上 Vocke 的文章采用消费者驱动契约,由 API 的调用方决定契约必须包含哪些内容。Pact 工具把消费者与提供者之间的契约称为“pact”。
验证时,Pact 会把提供者的真实响应与消费者侧测试记录下来的最小响应做比对。这样,测试只检查你实际用到的部分。
Block 把这个思路搬到了 Agent 上:把与工具的真实交互录制一次,之后每次运行都回放这份录制,并对工具调用序列做断言。
模型每次的措辞可能不同,但调用外部系统的顺序是固定的。下面的例子比 Block 更进一步,连调用参数也一并检查。
第三层是评测。Anthropic 对评测的定义很简单:给 AI 系统一个输入,再对输出套用评分逻辑。对 Agent 来说,评分逻辑通常结合三种方式:基于代码的评分、基于模型的评分和人工评分。因此这一层已经不再完全确定。
最顶层是端到端测试。Martin Fowler 博客上的文章提醒,这类测试出了名地不稳定,失败的原因谁也预料不到。中间再放一个非确定性的模型,不稳定只会更严重。
| 层级 | 检查什么 | 失败时的常见原因 |
|---|---|---|
| 断言 | Schema、必填字段、硬性规则 | 代码 bug,或者提示词破坏了格式 |
| 契约 / 回放 | 客户的 API 和工具调用序列 | 客户改了 API,Agent 调用顺序出错 |
| 评测 | 真实案例上的输出质量 | 提示词变更、模型变更、新数据 |
| 端到端 | 从用户到目标系统的完整流程 | 网络、环境、延迟,以及以上所有原因 |
用一个真实集成走一遍
设想这样一个场景:你构建了一个 Agent,读取供应商的 PDF 发票,提取金额和采购订单号,再调用客户的 ERP API 创建一笔会计分录。故障可能来自三个方向:模型读错,你的代码处理错,或者 ERP API 返回了你没料到的内容。
断言层一个下午就能写完,运行不到一秒:
def test_extraction_shape(extract):
out = extract("fixtures/invoice_017.pdf")
assert set(out) >= {"vendor_id", "amount", "currency", "po_number"}
assert out["amount"] > 0
assert out["currency"] in {"USD", "EUR", "VND"}
assert out["po_number"].startswith("PO-")
这个测试不关心模型怎么措辞,只拦下下游代码肯定处理不了的输出。
对前线部署工程师(FDE)来说,契约层价值最大,因为客户的 API 不在你的控制之内。你在预发布环境里录制一次对 ERP 的真实调用,存成文件,然后写一个回放测试:
def test_posting_flow(replay):
calls = replay.run("cassettes/invoice_017.json")
assert [c.tool for c in calls] == ["lookup_po", "create_journal_entry"]
assert calls[1].args["amount"] == calls[0].result["open_amount"]
如果 Agent 跳过采购订单查询、直接记账,回放测试就会变红。但录制文件只是一次旧调用的记录。如果客户的 IT 团队下周把 open_amount 字段改了名,回放测试依然是绿的,因为它根本不碰真实 API。
这类故障需要单独做提供者侧检查,参照 Pact 的验证方式:拿消费者侧测试记录的最小响应,与预发布 API 的真实响应做比对。回放保证 Agent 按正确顺序调用;提供者侧验证告诉你客户的 API 什么时候变了。两者缺一不可。
评测方面,Anthropic 建议从小处着手:从真实失败中挑出 20-50 个简单任务,作为起点就足够了。两页的发票、金额按欧洲格式书写的发票、缺少采购订单号的发票,都该放进第一批。这些案例要从日志和工单里找,而不是坐在桌前编出来。
为什么 90% 会误导人
Anthropic 区分了两个指标。pass@k 是 k 次尝试中至少一次成功的概率。pass^k 是 k 次尝试全部成功的概率,这才是衡量可靠性的真正指标。
以一个 Agent 单次正确率为 90% 的发票案例来算。pass@3 是 1 − 0.1³,即 99.9%,看起来非常好。pass^3 是 0.9³,即 72.9%。如果 Agent 会自动往客户账本里记账,你必须报告的是第二个数字。
它不必是 100%。Husain 认为,通过率是一个产品决策,取决于你能容忍哪些失败。下游有人工复核的流程,也许能接受 72.9%;自动付款流程则不行。
这也是 Block 重新定义回归的原因。在非确定性系统里,输出变了还不算回归,成功率下降才是回归。改提示词时,应该对比前后的 pass^k,而不是逐条 diff 回答。
头两周该搭什么
Husain 按成本给各层排了序:Level 3 比 Level 2 贵,Level 2 比 Level 1 贵。这一点足以决定顺序。第一天,为下游代码用到的每个输出写断言。
接下来,一拿到客户预发布环境的访问权限,就录制真实的工具调用,搭好回放测试和提供者侧验证。这一步要早做:只有在还能访问预发布环境时才能录制,录好之后,后面大部分测试都不用再碰客户系统。
第二周,把最早的 20 个失败案例整理成评测集,每个案例跑多次,记录 pass^k。端到端测试放到最后:只覆盖少数几个一旦出错客户肯定会发现的流程,定时运行,不阻塞每次合并。
常见错误
最常见的错误是金字塔倒过来。几十个端到端测试调用真实模型和真实 ERP,每次运行要十分钟,还随机失败。几周后,团队对红色习以为常,不再信任这套测试。
第二个错误是把所有评分都交给另一个模型,而很多标准其实用代码就能检查。基于代码的评分便宜又确定,能用就用。基于模型的评分留给代码判断不了的部分。
第三个错误是给评测定 100% 的目标然后卡在那里,或者反过来,把每一处措辞变化都当成回归。两种做法都会让你追着随机波动跑,而 Agent 的真实质量纹丝不动。
作为职业技能,这一项很容易展示。简历上别写“为 AI 系统编写测试”,而是写你针对客户 API 搭建了契约层,并在每次提示词变更时跟踪 pass^k。
面试中如果被问到怎么判断一个 Agent 可以上生产环境,就画出这座金字塔,解释为什么要先搭底层。
Agent 上线那天,客户通常只关心一件事:下次模型更新时,他们怎么知道账本没被搞坏?契约层和 pass^k 数字,是一个有数据支撑的回答。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- The Practical Test Pyramid · 2018-02-26
- How Pact works
- Your AI Product Needs Evals · 2024-03-29
- Demystifying evals for AI agents · 2026-01-09
- Testing Pyramid for AI Agents · 2026-01-12