监管客户的 AI Agent,不等于每一步都审批
用风险标记和审批队列,让 Agent 只在真正需要人拍板时暂停,审完后从原处顺利恢复。
要点速览
- 护栏负责自动检查,人只审批那些错一次就会造成实际损失的决策
- 暂停的运行必须持久化保存,并从保存的状态恢复,审核队列因此才能异步运作
- 护栏只保护挂载了它的工具,因此 Agent 能用来执行操作的每条路径都必须盘点清楚
Anthropic 公开过一组关于人们如何监管 Agent 的数据,其中一个细节乍看有些反常。会话数不到 50 次的新用户,约 20% 的时候会开启完全自动批准;超过 750 次会话后,这一比例超过 40%。然而同样是这批老用户,打断 Agent 的频率反而更高。
这是两种不同的行为。老用户不再每一步都点“批准”,但他们清楚什么时候该介入。Anthropic 的结论是:有效的监管并不要求批准每一个操作。
对前线部署工程师(FDE)来说,这个悖论是每天都要面对的设计问题。Agent 一旦接入客户的真实系统,读取订单、发送邮件、办理退款,客户就会提出两个相互矛盾的问题:怎么防止它自作主张干蠢事?为什么什么事都要人来签字?一个设计良好的监管层可以同时回答这两个问题。
便宜的部分交给机器检查,昂贵的部分由人决定
OpenAI 关于 Agent 的指南划了一条清晰的界线:护栏用于自动检查,人工审核用于审批决策。护栏就是代码,它回答有明确答案的问题:金额是否超过订单金额?邮件是否泄露了内部数据?参数格式是否正确?
审核者只留给需要判断力的问题,也就是错一次就可能造成实际损失的情况。如果把机器能回答的问题也塞进队列,审核者会疲劳,随后开始为了清空队列而直接批准。
必须暂停的工具清单应当放在单独的策略表里,不要混进提示词。LangChain 的人在回路(human-in-the-loop)中间件就是这样做的:按工具名声明条目,调用命中某个条目时,执行就会中断。
这就是风险标记。Anthropic 另外给出两条建议:让 Agent 在检查点或卡住时暂停下来向人求助;预先设定让它完全停止的条件。
Agent 暂停时,什么必须保留下来?
在 OpenAI 的审批流程中,被标记的调用不会执行,整个运行会暂停,直到你批准或拒绝。做出决定后,从保存的 state 恢复同一个运行,而不是开启新一轮对话。
正是这个小细节让异步队列成为可能:客户那边的审核者可以开完会再回复,Agent 依然记得自己做到了哪一步。
代价是,状态必须保存在进程重启后仍然存在的地方。LangChain 的文档明确写道,人在回路需要检查点机制来处理中断。
在客户现场,如果状态只存在内存里,一次重新部署或一次 Pod 重启就会清空所有待审内容。应当使用客户运维团队已经在备份和监控的数据库。
跟踪一个案例:零售商的退款 Agent
下面的例子是虚构的,用来展示各个部分如何配合。一个客服 Agent 有五个工具,策略表把它们分为三级:
| 工具 | 级别 | 自动护栏 | 审核者可以做什么 |
|---|---|---|---|
| lookup_order | 自动 | 只读取发起请求的客户本人的订单 | 不需要 |
| close_ticket | 自动 | 工单必须附有备注 | 不需要 |
| email_customer | 审核 | 不含内部数据 | 批准、编辑、拒绝 |
| issue_refund | 审核 | 金额 ≤ 订单金额 | 批准、编辑、拒绝 |
| run_sql | 禁止 | 不适用 | 无 |
核心逻辑只需几十行。下面的示意代码与框架无关,重点在于检查的顺序:
POLICY = {
"lookup_order": {"tier": "auto"},
"close_ticket": {"tier": "auto"},
"email_customer": {"tier": "review", "decisions": ["approve", "edit", "reject"]},
"issue_refund": {"tier": "review", "decisions": ["approve", "edit", "reject"],
"guard": lambda args, order: args["amount"] <= order["order_total"]},
"run_sql": {"tier": "block"},
}
def handle_tool_call(run_id, state, call, order):
rule = POLICY.get(call.name, {"tier": "block"}) # 未知工具:默认禁止
if rule["tier"] == "block":
return reject(call, "该工具不在策略表中")
guard = rule.get("guard")
if guard and not guard(call.args, order):
return reject(call, "超出限额,无需人工审核")
if rule["tier"] == "review":
save_checkpoint(run_id, state) # 持久化保存,绝不能只放在内存里
return enqueue_for_review(run_id, call, rule["decisions"])
return execute(call)
一位客户来信要求退款。Agent 在同一轮中提出两个调用:先用 email_customer 告知客户退款已办理,再用 issue_refund 按订单全额退款。两个调用都通过了护栏,但都属于审核级,于是运行暂停,状态被保存,队列按顺序显示这两个操作。
审核者打开案例,发现这笔订单前一天已经通过支付网关退过款。于是修改邮件,请客户查看自己的账户,并附上理由拒绝退款调用。LangChain 给审核者提供的正是这三个选项,reject 决策会拒绝该调用,并把反馈发给 Agent,而不是执行它。
这里有个陷阱。在默认的批量模式下,提交决策的顺序必须与中断请求中操作的顺序一致。
如果队列界面调整了顺序,比如为了醒目把涉及资金的调用移到最上面,对邮件的修改就可能被套用到退款调用上。
运行从状态恢复后,Agent 读到拒绝理由,用一条准确的备注关闭了工单。
在客户现场从哪里开始
第一步是盘点 Agent 能用来操作系统的每一条路径。OpenAI 的文档指出,工具护栏只在挂载了它的函数工具上运行。通用的 run_sql 工具、后来有人加上的 MCP 服务器、沙箱里的 shell 命令,只要不在表里,都是后门。
接下来,和客户的流程负责人坐下来一起分级。要问的问题是:这个调用如果错误执行一次,谁得打电话道歉?修复要花多久?答案决定了每个工具的级别,也决定了审核者该由谁担任。
之后再编写护栏,把检查点接入持久化数据库,并做一个能在一屏内展示足够决策上下文的队列界面。Anthropic 建议在上生产环境之前,先在配有适当护栏的沙箱中充分测试。这一阶段可以回放经过匿名化处理的真实案例,看看哪些级别暂停得过于频繁。
让队列沦为橡皮图章的错误
最常见的错误是要求审批的地方太多。每个调用都暂停,审核者就会学会不看就批,换来的只是安全感,而不是真正的安全。按工具统计原样批准的调用占比;几乎总是原样通过的工具,可以考虑配上更严格的护栏后移到自动级。
第二个错误是拒绝时不给理由。不知道自己为何被拦下的 Agent 会再次提出几乎相同的请求,队列里堆满同样的请求。第三个错误是前面提到的把状态放在内存里,这个问题往往恰好在客户重新部署的那天暴露。
在简历上,像“为退款 Agent 设计三级风险审批策略,仅 X% 的工具调用需要人工审核”这样的描述,远比“具备 LLM 经验”更有说服力。
Anthropic 数据中的老用户批准得更少,但打断得更多。为客户搭建的监管层,也应当帮助客户的审核者做到这一点:更少的审批,更及时的介入。
这篇文章对你有帮助吗?
感谢你的反馈!