最强 AI 智能体,95 个客户交付任务只完整解决 14 个
FDE-Gym 按客户自己的成功指标打分,智能体最常栽在没人明说的约束上。
要点速览
- FDE-Gym 包含 95 个任务,取自 18 个领域的 20 个真实部署项目,按客户的成功指标打分
- 在来自七家厂商的 13 种模型配置中,最强者平均得分仅 0.56,95 个任务只完整解决 14 个
- 作者认为,智能体的主要瓶颈是挖掘客户从未说出的约束,而这正是 FDE 工作的核心
面对 95 个需要把可用系统交付给客户的任务,最强的 AI 智能体配置只完整解决了 14 个。这是 FDE-Gym 的核心结果。该基准于 2026 年 10 月 15 日发布在 arXiv 上。
作者测试了来自七家厂商的 13 种模型配置。在最贴近真实的设置下,其中最好的一种平均得分也只有 0.56。
新意在于评判标准。FDE-Gym 不看代码能不能跑、测试能不能过,而是看智能体交付的系统让客户自己的成功指标提升了多少。这和真实客户评判结果的方式很接近。
对于前线部署工程师(FDE)和想成为 FDE 的人,这个结果值得关注,因为它衡量的是最后一公里:把智能体做出来的东西变成客户环境里的实际成果。在这一段,即便最强的配置也有大部分任务没能解决。
这个基准评测的是智能体而不是人,所以下面只是推断,不是结论:这最后一公里很可能正是 FDE 仍能发挥作用的地方,而它所需的能力是可以练出来的。
机器在哪里绊倒
作者认为,真实的客户部署与问题定义清晰的基准任务有本质区别。他们指出,主要瓶颈在于找出没人说出口的约束。
举一个假设的例子。客户想缩短处理工单的时间,智能体搭了一条漂亮的自动分流管道。
直到第二周才发现,由于一条合同条款,企业客户的工单必须先由人工阅读。代码依然正确,客户的指标却纹丝不动。FDE-Gym 的评判标准要抓的,正是这类失败。
任务的构建方式也瞄准同一个弱点。专家选取 18 个领域的 20 个真实部署项目,把它们改造成客户的运行环境,再改动几项关键事实生成变体。
他们只保留评分器经过验证的任务。由于关键事实不同,熟悉的解法很难原样照搬:智能体要想通过,必须重新读懂每个变体的上下文。
窄任务容易,端到端难
和近期的其他基准放在一起看,边界相当清楚。FDE-Bench 由 Ding、Zhan、Li 和 Guo 完成,发布于 2026 年 9 月 23 日,只衡量 FDE 工作中很窄的一块:用 Docker、Compose 和 Kubernetes 配置部署环境。在它的 136 个任务上,七个模型的解决率在 52.9% 到 75.0% 之间。
两个基准的任务和打分方式不同,不能直接比较。但趋势很明显:任务越窄、定义越清楚,智能体表现越好;一旦需要自己弄清客户要什么,分数就大幅下滑。
Ding 和 Zhan 的另一项研究《Trains but Doesn’t Learn》(2026 年 9 月 21 日)把交付一个后训练模型视为 FDE 工作。智能体要经历十个阶段,每个阶段都依据平台上记录的事实打分。
它的核心失败模式听起来很眼熟:整个运行过程看上去一切正常,最终模型却并不比基座模型好。
哪些能力更值钱
GitHub 上有一个同名开源项目:DeepLethe 的 deeplethe/fde-gym。它围绕同一思路搭建了完整的练习平台,每道练习都取自真实的客户交付,并与编程智能体配合完成。
该项目的观点是:一旦 AI 能写出正确的代码,正确的代码就不再能区分优秀工程师和普通工程师。真正拉开差距的,是系统在客户现场真实运行时拿出结果的能力。
所以,如果在准备 FDE 岗位,不要把时间全花在刷算法题上。多练客户需求调研:第一次会议就问清客户如何衡量成功、谁有权说“不”、哪些数据绝不能离开系统。简历上,把“搭建了 X”这类描述换成客户指标的变化。
看岗位描述或面试时,可以直接问:这个岗位要对客户的结果负责,还是只对分配到的代码负责?“95 个中的 14 个”这个数字并不能说明人的能力,因为基准只给智能体打分。但它表明,部署的最后一公里仍是机器最薄弱的地方,也最值得投入精力。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Paper page - FDE-Gym: The Last Mile of AI Delivery · 2026-10-16
- FDE-Gym: The Last Mile of AI Delivery · 2026-10-15
- FDE-Gym: The Last Mile of AI Delivery (HTML version) · 2026-10
- FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration · 2026-09-23
- Trains but Doesn't Learn: A Post-Training Delivery Benchmark for LLM Agents as Forward-Deployed Engineers · 2026-09-21
- deeplethe/fde-gym (GitHub)