# 最强 AI 智能体，95 个客户交付任务只完整解决 14 个

> FDE-Gym 按客户自己的成功指标打分，智能体最常栽在没人明说的约束上。

原文: https://fdetimes.net/zh/news/fde-gym-benchmark-ai-agents-customer-delivery/

面对 95 个需要把可用系统交付给客户的任务，最强的 AI 智能体配置只完整解决了 14 个。这是 FDE-Gym 的核心结果。该基准于 2026 年 10 月 15 日发布在 arXiv 上。

作者测试了来自七家厂商的 13 种模型配置。在最贴近真实的设置下，其中最好的一种平均得分也只有 0.56。

新意在于评判标准。FDE-Gym 不看代码能不能跑、测试能不能过，而是看智能体交付的系统让**客户自己的成功指标**提升了多少。这和真实客户评判结果的方式很接近。

对于前线部署工程师（FDE）和想成为 FDE 的人，这个结果值得关注，因为它衡量的是最后一公里：把智能体做出来的东西变成客户环境里的实际成果。在这一段，即便最强的配置也有大部分任务没能解决。

这个基准评测的是智能体而不是人，所以下面只是推断，不是结论：这最后一公里很可能正是 FDE 仍能发挥作用的地方，而它所需的能力是可以练出来的。

## 机器在哪里绊倒

作者认为，真实的客户部署与问题定义清晰的基准任务有本质区别。他们指出，主要瓶颈在于找出没人说出口的约束。

举一个假设的例子。客户想缩短处理工单的时间，智能体搭了一条漂亮的自动分流管道。

直到第二周才发现，由于一条合同条款，企业客户的工单必须先由人工阅读。代码依然正确，客户的指标却纹丝不动。FDE-Gym 的评判标准要抓的，正是这类失败。

任务的构建方式也瞄准同一个弱点。专家选取 18 个领域的 20 个真实部署项目，把它们改造成客户的运行环境，再**改动几项关键事实**生成变体。

他们只保留评分器经过验证的任务。由于关键事实不同，熟悉的解法很难原样照搬：智能体要想通过，必须重新读懂每个变体的上下文。

**要点:** 代码能跑只完成了一半，客户只在乎指标有没有动。

## 窄任务容易，端到端难

和近期的其他基准放在一起看，边界相当清楚。FDE-Bench 由 Ding、Zhan、Li 和 Guo 完成，发布于 2026 年 9 月 23 日，只衡量 FDE 工作中很窄的一块：用 Docker、Compose 和 Kubernetes 配置部署环境。在它的 136 个任务上，七个模型的解决率在 52.9% 到 75.0% 之间。

两个基准的任务和打分方式不同，不能直接比较。但趋势很明显：任务越窄、定义越清楚，智能体表现越好；一旦需要自己弄清客户要什么，分数就大幅下滑。

Ding 和 Zhan 的另一项研究《Trains but Doesn't Learn》（2026 年 9 月 21 日）把交付一个后训练模型视为 FDE 工作。智能体要经历十个阶段，每个阶段都依据平台上记录的事实打分。

它的核心失败模式听起来很眼熟：整个运行过程看上去一切正常，最终模型却并不比基座模型好。

## 哪些能力更值钱

GitHub 上有一个同名开源项目：DeepLethe 的 deeplethe/fde-gym。它围绕同一思路搭建了完整的练习平台，每道练习都取自真实的客户交付，并与编程智能体配合完成。

该项目的观点是：一旦 AI 能写出正确的代码，正确的代码就不再能区分优秀工程师和普通工程师。真正拉开差距的，是系统在客户现场真实运行时拿出结果的能力。

所以，如果在准备 FDE 岗位，不要把时间全花在刷算法题上。多练客户需求调研：第一次会议就问清客户如何衡量成功、谁有权说“不”、哪些数据绝不能离开系统。简历上，把“搭建了 X”这类描述换成客户指标的变化。

看岗位描述或面试时，可以直接问：这个岗位要对客户的结果负责，还是只对分配到的代码负责？“95 个中的 14 个”这个数字并不能说明人的能力，因为基准只给智能体打分。但它表明，部署的最后一公里仍是机器最薄弱的地方，也最值得投入精力。

**本周动手试试:**

- 挑出最近的一个项目，列出所有开工后才发现的约束，再为每一条写下本可在第一次会议上问出来的问题
- 把简历上的一行从“搭建了 X”改写成“将客户的指标 Y 从 A 提升到 B”，用真实数字
- 下次需求调研前，用客户自己的话写下其成功指标，并请对方确认

## 信源

- [Paper page - FDE-Gym: The Last Mile of AI Delivery](https://huggingface.co/papers/2610.22350)

- [FDE-Gym: The Last Mile of AI Delivery](https://arxiv.org/abs/2610.22350)

- [FDE-Gym: The Last Mile of AI Delivery (HTML version)](https://arxiv.org/html/2610.22350)

- [FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration](https://arxiv.org/abs/2609.27571)

- [Trains but Doesn't Learn: A Post-Training Delivery Benchmark for LLM Agents as Forward-Deployed Engineers](https://arxiv.org/abs/2609.25237)

- [deeplethe/fde-gym (GitHub)](https://github.com/deeplethe/fde-gym)
