每步 95% 正确的十步 Agent,四成会失败
写代码前就能算出来:即便每步 99%,20 步链路也只剩 82%,减步骤比打磨提示词更管用。
要点速览
- 每步 95%,十步约剩 60%,二十步约剩 36%。
- 实际中,链路越长,每步准确率也会下降,结果可能比公式更差。
- 最有效的修复是减少 LLM 步骤,其次是按风险校验,并让工作流能从失败处恢复。
一个每一步 20 次里能对 19 次的 Agent,整体任务仍可能接近五次错两次。设想一次顺利的客户演示:你单独测过 Agent 的每一步,每步大约 20 次对 19 次。然后完整的十步工作流在真实数据上跑起来,每五次运行里有将近两次结果错误或中途卡住。
这和运气无关,是乘法。在写第一行代码之前,就能把账算出来。
对前线部署工程师(FDE)来说,这笔账决定两件事:在客户那里怎么设计工作流,以及敢向客户承诺什么数字。只汇报每步准确率的人,迟早要解释为什么生产环境比演示差。
95% 是怎么变成 60% 的?
公式很简单。n 个顺序步骤组成的链路,每步正确的概率为 p,整体成功的概率约为 p^n。十步、每步 95%,0.95^10 约为 59.9%。
| 步骤数 | 端到端成功率(p = 95%) |
|---|---|
| 1 | 95% |
| 5 | 约 77% |
| 10 | 约 60% |
| 20 | 约 36% |
| 50 | 约 7% |
Mirantis 发布过一张几乎相同的表,十步时约为 59%。它指出,即使每步 95%(这已经非常乐观),它分析的工作流仍有约 40% 的失败率。自己开发 Agent 的工程师 Utkarsh Kanwat 算出了同样的数字,并认为 95% 对当今的 LLM 而言是偏乐观的水平。
把 p 换成 99%,问题就更清楚了:20 步仍然只剩约 82%。打磨每一步的提示词有帮助,但要让数字大幅提升,必须减少步骤。
为什么实际数字可能更差?
p^n 公式假设每一步相互独立、准确率固定。Mirantis 认为,实际中的复合错误比单纯的乘法更严重。
ICLR 2026 的一篇论文给出了具体原因:模型的每步准确率会随步骤数增加而下降。第十步不再像第一步那样有 95% 的正确率,因此“步骤相互独立”的模型低估了问题。
Anthropic 在构建多智能体研究系统时遇到过这种情况。其团队写道,Agent 是有状态的,所以错误会累积。在构建 Agent 的指南中,它也明确指出,Agent 的自主性会带来更高的成本,以及错误累积的可能。
所以,应当把 p^n 视为乐观的上限,而不是预测。如果连上限都很低,设计就需要重做。
示例:发票对账 Agent
假设客户想自动化供应商发票对账。
第一版中,LLM 驱动全部十步:分类邮件、下载 PDF、提取发票号、提取总金额、规范化日期、在企业资源计划(ERP)系统中查找供应商编码、查找采购订单、匹配、把结果写入 ERP、发送通知邮件。
十步、每步 95%,工作流约剩 59.9%。
现在对每一步问一个问题:它需要推理吗?下载文件、规范化日期、在 ERP 中查编码、写入结果、发送邮件,都是普通代码就能做的事。如果客户专门设一个收发票的邮箱,邮件分类这一步就可以去掉。
两个提取步骤也可以合并为一次调用,按 schema 返回数据。
def reconcile(email):
pdf = download_attachment(email) # 代码
fields = llm_extract(pdf, schema=InvoiceFields) # LLM 第 1 步
check_fields(fields) # 金额为正,供应商编码在 ERP 中存在
po = erp.find_po(fields.po_number) # 代码
verdict = llm_match(fields, po) # LLM 第 2 步
save_checkpoint(email.id, fields, verdict)
if verdict.status != "match":
return queue_for_human(email.id, verdict) # 人工把关
erp.post(fields) # 不可逆操作
剩下两个 LLM 步骤:0.95 乘以 0.95,约 90.25%。代码仍可能失败,但失败时会抛出异常,而不是悄悄编造一个数字。
90.25% 这个数字假设代码步骤从不失败,所以不要向客户承诺它。记录每一次端到端运行,把下载或 ERP 查询步骤的异常也算进去,再用正确结果数除以总运行次数:这才是应该汇报的数字。
check_fields 函数会在明显的提取错误继续传播之前将其拦下。每一个不匹配的结果都必须等人工审核后才能触及 ERP。
如何缩短链路?
第一招是删步骤。由于概率相乘,每删掉一步,整个工作流的成功率都会成倍提升。Anthropic 也建议先找尽可能简单的方案,只在确实需要时才增加复杂度。
第二招是把所有无需推理的工作交给代码,并对中间结果做校验,避免错误扩散到下一步。一篇关于长时运行 Agent 的分析强调,逐步的容错能力必须从模型外部构建,而不能交给模型自己。
第三招是有选择地检查。每一步之后都检查代价很高。Tian Pan 的博客指出,只有按风险而不是按固定节奏布置检查点,人工审核才能发挥作用。
在发票示例中,风险最高的位置是提取刚完成时和写入 ERP 之前。Anthropic 描述的正是这类设计:Agent 在检查点或遇到阻碍时暂停,等待人工反馈。
第四招是让工作流在失败后能恢复。Agent 失败时,Anthropic 不会从头再来,而是让系统从出错的位置恢复,把重试和定期检查点结合起来。上面代码中的 save_checkpoint 一行就是为此而设。
常见错误
最常见的错误是逐步测量,然后把这个数字汇报给客户。客户感受到的不是单个步骤,而是整个工作流。所以从第一周起,就要在真实数据上做端到端测量。
其次是在每一步之后加一个“审查”Agent。按同样的乘法,每多一个 Agent 就多一个可能出错的步骤,成本还没算在内。为了显得时髦把问题拆给多个 Agent,也会掉进同一个坑。
最难察觉的是以为错误会自己暴露出来。最危险的错误,是读错了但看上去仍然有效的字段。因此,检查点应当与 ERP 或 schema 这类可信数据源比对,而不是再问一遍模型。
把这笔账变成职业优势
简历上不要只写“构建了多步 Agent”。要写清楚你把 LLM 步骤从十步减到两步,实测的端到端成功率从多少提升到多少。
面试官问到 Agent 设计时,在白板上画出工作流,数出步骤,算出 p^n。这表明你习惯从整个工作流的结果出发思考,而这正是客户真正需要的。
在客户现场,最好的 Agent 很少是做最多步骤的那个,而是只把代码做不了的步骤交给模型的那个。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- The Compound Accuracy Problem: Why Your 95% Accurate Agent Fails 40% of the Time · 2026-04-20
- Why I'm Betting Against AI Agents in 2025 (Despite Building Them) · 2025-07-19
- Why Multi-Step AI Workflows Fail · 2026-05-26
- Building effective agents · 2024-12-19
- How we built our multi-agent research system · 2025-06-13
- The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs · 2026-03-13
- Why Long-Horizon AI Agents Fail: Compounding Error, Memory as Infrastructure, and Step-Level Recovery · 2026-07-03