FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Agent 为何能在一个工单上空转一整夜却不报错

四层限制加上预先设计好的人工交接点,才能防止 Agent 循环无休止空转、烧掉客户的钱。

分享微博

要点速览

  • Agent 循环本质上是一个 while 循环,只有目标达成时才会自行停止,因此必须设置步数、预算和时间上限。
  • 组合多个停止条件,任意一个满足循环即结束。Vercel AI SDK 默认在 20 步后停止。
  • 停止绝不能悄无声息:每次停止都要返回原因,并给人工足够的上下文,在不可逆操作之前尤其如此。
示意图:左侧是由思考、行动、观察三步组成的 Agent 循环。每一步之前,循环都要通过四道防线:最大步数(max_steps)、Token 预算(budget)、时间期限(timeout)和重复检测(repeat_loop)。在 issue_refund、send_email 等不可逆操作之前,另有一道审批关卡(needs_approval)。无论触发哪道防线,都会沿同一条路径进入橙色的“转交人工”模块,附带原因、步数、Token 数和摘要。如果全部通过,Agent 调用工具,并沿虚线箭头回到循环。
四道防线加上不可逆操作前的审批关卡:每种停止原因都通向一次交接,为接手的人提供完整上下文。

周一早上,客户办公室里,上周部署的退款 Agent 在一个工单上耗了整整一夜:查询订单,读取结果,再查询订单,再读取。没有抛出任何错误,只留下一份几千行的日志和一张暴涨的 API 账单。

这个 Agent 并没有给出错误答案,它只是不知道什么时候该停。对前线部署工程师(FDE)来说,这类事故很难向客户解释,因为找不到可以指给对方看的报错,只有一个一直在运行的系统。

好消息是,预防这类问题并不神秘。做法分两部分:给循环设上限,并设计好 Agent 把工作交给人工的时机。

Agent 为什么不知道何时停下?

Hugging Face Agents Course 把 Agent 循环描述为一个 while 循环:思考、行动、观察的循环一直持续,直到目标达成。最后一个动作是把答案发回给用户,循环到此结束。

问题出在“直到”二字。如果模型始终不认为自己达成了目标,比如数据缺失、工具返回含糊的错误,或者提示词自相矛盾,那么自然的停止条件就永远不会满足。Vercel AI SDK 的文档说得很直白:没有步数上限,Agent 可能无限运行,或者产生高昂费用。

因此,Anthropic 在构建 Agent 的指南中建议加入停止条件,例如最大迭代次数,以保持可控。阈值设在哪里,是一个真实的权衡。Metric Coders 的一篇教程总结道:停得太早,结果不完整;停得太晚,模型会絮叨、重复甚至产生幻觉。

四道防线,各自拦截不同的故障

单靠一种限制是不够的,因为每种限制拦截的故障类型不同。AI SDK 允许组合多个停止条件,任意一个满足循环即结束。无论用哪个框架,都应该这样思考。

防线 拦截什么 需要了解的弱点
最大步数 无限循环、逻辑死循环 设得太低会截断长任务
Token 预算 步数不多但成本暴涨 只限制输出 Token 可能把句子截成两半
时间期限 工具响应慢、用户在等待 无法反映结果质量
重复检测 用相同参数反复调用同一工具 需要自己定义什么算“相同”

步数方面,AI SDK 默认让 ToolLoopAgent 在 20 步后停止。这是一个合理的起点,而不是什么神奇数字。Token 方面,Metric Coders 的文章指出,限制生成的 Token 数量简单易行,但容易截断句子,建议组合多种方法。

停止序列(stop sequence)会在模型输出预定义字符串时立即停止生成,适合结构化输出。但如果模型没有准确输出该字符串,这种方式就很脆弱。

在下面的示例中,除了常见的步数和 Token 两项限制,重复检测和时间期限都直接手写在循环里。

停止不等于放弃:把工作交给人工

Anthropic 提到,Agent 会在检查点或遇到阻碍时暂停,等待人工反馈。

agentpatterns.ai 网站把这一点具体化为三个位置。第一,置信度低时。第二,循环消耗的 Token、费用或工具调用达到预算中可配置的比例时。第三,在任何循环无法凭自身状态撤销的操作之前。

对企业客户而言,第三点最令人担心。查错了订单可以重查一次;退错了款,或者把邮件发给了错误的客户,就无法挽回。

示例:电商平台的退款 Agent

假设要构建一个处理退款工单的 Agent,它有四个工具:查询订单、查询政策、发起退款和发送邮件。下面的阈值是用于演示的假设数字:最多 20 步,预算 40,000 个 Token,预算用到 80% 时转交客服,期限为 90 秒。

import time

MAX_STEPS = 20
TOKEN_BUDGET = 40_000
SOFT_FRACTION = 0.8          # 预算用到 80% 时停止并请求人工介入
DEADLINE_S = 90
MAX_REPEAT = 3               # 同一工具 + 相同参数调用超过 3 次 = 陷入循环
IRREVERSIBLE = {"issue_refund", "send_email"}

def run(task):
    s = {"steps": 0, "tokens": 0, "history": [], "calls": {}}
    start = time.monotonic()
    while True:
        if s["steps"] >= MAX_STEPS:
            return handoff(task, s, "max_steps")
        if s["tokens"] >= TOKEN_BUDGET * SOFT_FRACTION:
            return handoff(task, s, "budget")
        if time.monotonic() - start > DEADLINE_S:
            return handoff(task, s, "timeout")

        step = llm_next_step(task, s["history"])
        s["steps"] += 1
        s["tokens"] += step.usage.total_tokens

        if step.is_final:
            return {"status": "done", "answer": step.answer, "steps": s["steps"]}

        key = (step.tool, str(sorted(step.args.items())))
        s["calls"][key] = s["calls"].get(key, 0) + 1
        if s["calls"][key] > MAX_REPEAT:
            return handoff(task, s, "repeat_loop", pending=step)

        if step.tool in IRREVERSIBLE:
            return handoff(task, s, "needs_approval", pending=step)

        obs = call_tool(step.tool, step.args)
        s["history"].append((step, obs))

def handoff(task, s, reason, pending=None):
    return {
        "status": "needs_human",
        "reason": reason,
        "steps": s["steps"],
        "tokens": s["tokens"],
        "summary": summarize(s["history"]),
        "pending_action": pending,
    }

回到开头的场景。Agent 查询订单,订单 API 返回超时,于是它用同一个订单 ID 再查一次。到第四次调用时,重复计数器触发,返回 repeat_loop 和一份历史摘要,而不是空转一整夜。

在另一个工单上,Agent 查询订单、核对政策,判断客户符合条件,准备调用 issue_refund。循环以 needs_approval 为原因停止,并附上待审批的操作。客服只需核对后点击批准或拒绝,不必从头读起。

注意,handoff 函数做的不只是报告“失败”。它返回原因、步数、Token 数和摘要,接手的人几秒钟内就能继续处理。

每种停止原因都应对应一项具体的人工任务。遇到 repeat_loop,接手者检查工具出了什么问题,必要时手动处理工单。遇到 budget 或 timeout,客服阅读摘要,决定让 Agent 继续还是自己完成。max_steps 则归工程师处理:先找出循环,再考虑是否调高上限。

在自己的项目中落地

先列出所有工具,分成三组:只读、可撤销的写操作、不可撤销的写操作。最后一组必须始终经过审批点,至少在部署初期如此。

接着,用一批真实任务运行 Agent,记录成功运行的步数和 Token 数。在常见范围之上留出合理余量来设定上限,而不是凭感觉猜。然后和客户约定:Agent 停止后由谁接手、通过什么渠道、需要看到哪些信息。

最后,把“停止原因”变成一项指标。如果修改提示词后因 max_steps 停止的运行占比上升,就能立刻知道哪里出了问题。

常见错误

第一个要避免的错误,是一看到 Agent 被截断就调高上限。LangGraph 关于 GRAPH_RECURSION_LIMIT 错误的文档指出,如果预期中图不会迭代很多次却仍然触及上限,很可能存在循环。可以调高 recursionLimit,但应先检查循环逻辑中是否有死循环。

第二个错误是只依赖输出 Token 上限,导致用户收到说到一半就断掉的回答。第三个错误是悄无声息地停止:循环结束了,用户却什么都没收到,这违背了循环应以一个答案收尾的原则。

第四个错误更难察觉:转交客服时不附上下文。接手者只能打开日志从头再读一遍。不难理解,他们随后会把 Agent 当成负担,而不是帮手。

把这项技能变成面试优势

阅读 FDE 岗位描述时,留意是否提到 human-in-the-loop 或 guardrails。如果出现,就是提起这项技能的切入点。简历上避免写“构建过 AI Agent”这种泛泛之词。

要明确写出自己设计了停止条件和人工交接流程,并附上可衡量的数字,例如需要转交人工的任务占比。

本周练习:拿一个自己写过的 Agent,故意让某个工具始终返回错误,然后运行。如果 Agent 在几次尝试后自行停止,并返回一份十秒内就能看懂的交接信息,下次面试就有了一个具体的故事可讲。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 5: 部署上线提示注入无法根除,护栏只能分层构建对 FDE 来说,真正该问的是模型被骗之后还能做多少事,以及怎样把这个范围压到最小。