# 监管客户的 AI Agent，不等于每一步都审批

> 用风险标记和审批队列，让 Agent 只在真正需要人拍板时暂停，审完后从原处顺利恢复。

原文: https://fdetimes.net/zh/guides/agent-oversight-risk-tiers-review-queue/

Anthropic 公开过一组关于人们如何监管 Agent 的数据，其中一个细节乍看有些反常。会话数不到 50 次的新用户，约 20% 的时候会开启完全自动批准；超过 750 次会话后，这一比例超过 40%。然而同样是这批老用户，打断 Agent 的频率反而更高。

这是两种不同的行为。老用户不再每一步都点“批准”，但他们清楚什么时候该介入。Anthropic 的结论是：有效的监管并不要求批准每一个操作。

对前线部署工程师（FDE）来说，这个悖论是每天都要面对的设计问题。Agent 一旦接入客户的真实系统，读取订单、发送邮件、办理退款，客户就会提出两个相互矛盾的问题：怎么防止它自作主张干蠢事？为什么什么事都要人来签字？一个设计良好的监管层可以同时回答这两个问题。

## 便宜的部分交给机器检查，昂贵的部分由人决定

OpenAI 关于 Agent 的指南划了一条清晰的界线：护栏用于自动检查，人工审核用于审批决策。护栏就是代码，它回答有明确答案的问题：金额是否超过订单金额？邮件是否泄露了内部数据？参数格式是否正确？

审核者只留给需要判断力的问题，也就是错一次就可能造成实际损失的情况。如果把机器能回答的问题也塞进队列，审核者会疲劳，随后开始为了清空队列而直接批准。

必须暂停的工具清单应当放在单独的策略表里，不要混进提示词。LangChain 的人在回路（human-in-the-loop）中间件就是这样做的：按工具名声明条目，调用命中某个条目时，执行就会中断。

这就是风险标记。Anthropic 另外给出两条建议：让 Agent 在检查点或卡住时暂停下来向人求助；预先设定让它完全停止的条件。

## Agent 暂停时，什么必须保留下来？

在 OpenAI 的审批流程中，被标记的调用不会执行，整个运行会暂停，直到你批准或拒绝。做出决定后，从保存的 `state` 恢复同一个运行，而不是开启新一轮对话。

正是这个小细节让异步队列成为可能：客户那边的审核者可以开完会再回复，Agent 依然记得自己做到了哪一步。

代价是，状态必须保存在进程重启后仍然存在的地方。LangChain 的文档明确写道，人在回路需要检查点机制来处理中断。

在客户现场，如果状态只存在内存里，一次重新部署或一次 Pod 重启就会清空所有待审内容。应当使用客户运维团队已经在备份和监控的数据库。

## 跟踪一个案例：零售商的退款 Agent

下面的例子是虚构的，用来展示各个部分如何配合。一个客服 Agent 有五个工具，策略表把它们分为三级：

| 工具 | 级别 | 自动护栏 | 审核者可以做什么 |
|---|---|---|---|
| lookup_order | 自动 | 只读取发起请求的客户本人的订单 | 不需要 |
| close_ticket | 自动 | 工单必须附有备注 | 不需要 |
| email_customer | 审核 | 不含内部数据 | 批准、编辑、拒绝 |
| issue_refund | 审核 | 金额 ≤ 订单金额 | 批准、编辑、拒绝 |
| run_sql | 禁止 | 不适用 | 无 |

核心逻辑只需几十行。下面的示意代码与框架无关，重点在于检查的顺序：

```python
POLICY = {
    "lookup_order":   {"tier": "auto"},
    "close_ticket":   {"tier": "auto"},
    "email_customer": {"tier": "review", "decisions": ["approve", "edit", "reject"]},
    "issue_refund":   {"tier": "review", "decisions": ["approve", "edit", "reject"],
                       "guard": lambda args, order: args["amount"] <= order["order_total"]},
    "run_sql":        {"tier": "block"},
}

def handle_tool_call(run_id, state, call, order):
    rule = POLICY.get(call.name, {"tier": "block"})  # 未知工具：默认禁止
    if rule["tier"] == "block":
        return reject(call, "该工具不在策略表中")
    guard = rule.get("guard")
    if guard and not guard(call.args, order):
        return reject(call, "超出限额，无需人工审核")
    if rule["tier"] == "review":
        save_checkpoint(run_id, state)  # 持久化保存，绝不能只放在内存里
        return enqueue_for_review(run_id, call, rule["decisions"])
    return execute(call)
```

一位客户来信要求退款。Agent 在同一轮中提出两个调用：先用 `email_customer` 告知客户退款已办理，再用 `issue_refund` 按订单全额退款。两个调用都通过了护栏，但都属于审核级，于是运行暂停，状态被保存，队列按顺序显示这两个操作。

审核者打开案例，发现这笔订单前一天已经通过支付网关退过款。于是修改邮件，请客户查看自己的账户，并附上理由拒绝退款调用。LangChain 给审核者提供的正是这三个选项，`reject` 决策会拒绝该调用，并把反馈发给 Agent，而不是执行它。

这里有个陷阱。在默认的批量模式下，提交决策的顺序必须与中断请求中操作的顺序一致。

如果队列界面调整了顺序，比如为了醒目把涉及资金的调用移到最上面，对邮件的修改就可能被套用到退款调用上。

运行从状态恢复后，Agent 读到拒绝理由，用一条准确的备注关闭了工单。

## 在客户现场从哪里开始

第一步是盘点 Agent 能用来操作系统的每一条路径。OpenAI 的文档指出，工具护栏只在挂载了它的函数工具上运行。通用的 `run_sql` 工具、后来有人加上的 MCP 服务器、沙箱里的 shell 命令，只要不在表里，都是后门。

接下来，和客户的流程负责人坐下来一起分级。要问的问题是：这个调用如果错误执行一次，谁得打电话道歉？修复要花多久？答案决定了每个工具的级别，也决定了审核者该由谁担任。

之后再编写护栏，把检查点接入持久化数据库，并做一个能在一屏内展示足够决策上下文的队列界面。Anthropic 建议在上生产环境之前，先在配有适当护栏的沙箱中充分测试。这一阶段可以回放经过匿名化处理的真实案例，看看哪些级别暂停得过于频繁。

**要点:** 好的审核队列只让人看那些错一次就会造成实际损失的步骤。

## 让队列沦为橡皮图章的错误

最常见的错误是要求审批的地方太多。每个调用都暂停，审核者就会学会不看就批，换来的只是安全感，而不是真正的安全。按工具统计原样批准的调用占比；几乎总是原样通过的工具，可以考虑配上更严格的护栏后移到自动级。

第二个错误是拒绝时不给理由。不知道自己为何被拦下的 Agent 会再次提出几乎相同的请求，队列里堆满同样的请求。第三个错误是前面提到的把状态放在内存里，这个问题往往恰好在客户重新部署的那天暴露。

在简历上，像“为退款 Agent 设计三级风险审批策略，仅 X% 的工具调用需要人工审核”这样的描述，远比“具备 LLM 经验”更有说服力。

Anthropic 数据中的老用户批准得更少，但打断得更多。为客户搭建的监管层，也应当帮助客户的审核者做到这一点：更少的审批，更及时的介入。

**本周动手试试:**

- 列出手头某个 Agent 的全部工具，把每个工具归入自动、审核、禁止三级中的一级
- 为风险最高的工具编写一条自动护栏，然后在某个运行等待审核时重启进程，检查它的状态是否还在
- 在简历上加一行，描述你设计的风险分级审批策略，并写明需要人工审核的调用占比

## 信源

- [Guardrails and human review](https://developers.openai.com/api/docs/guides/agents/guardrails-approvals)

- [Human-in-the-loop (LangChain docs)](https://docs.langchain.com/oss/python/langchain/human-in-the-loop)

- [Building effective agents](https://www.anthropic.com/engineering/building-effective-agents)

- [Measuring AI agent autonomy in practice](https://www.anthropic.com/research/measuring-agent-autonomy)
