# 与人工 90% 一致，Agent 也可能什么都没学会

> 影子模式下记录 Agent 与操作员的决策，几十行 Python 算出 kappa，看一致率是否超出偶然。

原文: https://fdetimes.net/zh/guides/shadow-mode-agent-cohens-kappa/

假设你的退款审批 Agent 在 100 个案例中有 90 个与操作员一致。写进状态报告里，这个数字看起来不错。但如果操作员恰好批准了 90 个案例，而 Agent 只是对所有案例都点了“批准”，它同样能拿到 90%，却什么也没学会。

所以，在 Agent 接触真实决策之前，需要一段观察期，还需要一个不会被漂亮数字骗过的指标。本指南逐步讲解：为一项业务决策搭建影子模式，记录双方决策，计算一致率和 Cohen's kappa，最后撰写期末报告。

只需要 Python 3 和内置的 `sqlite3` 模块。下面的代码为教学做了简化。在客户现场，存储会用客户系统现有的数据库或队列。

## 影子模式到底是什么？

Christopher Samiullah 将影子模式描述为一种技术：把生产环境的流量和数据送入服务或模型的新版本。新版本真实运行，但输出永远不会到达用户。AWS SageMaker 的影子测试遵循同样的原则：影子模型收到真实请求的副本，而调用方应用只收到生产模型的响应。

Agent 同理。操作员照常工作，Agent 在后台自行决策，所有内容都记录下来。

据 AWS 介绍，这样做的目的是在影响最终用户之前发现配置和性能问题。影子测试之后是受控的逐步上线，而不是一次性切换。

影子模式并非没有代价。Samiullah 指出，它会增加系统负载，高峰期资源需求可能翻倍。这一点要提前告诉客户，别让他们在账单上才发现。

## 第 1 步：固定一项决策和一组标签

选一项输出离散的决策。这里的例子是退款申请，有 `approve` 和 `reject` 两个标签。如果操作员实际上还有“升级处理”选项，就把它作为第三个标签加进来。不要把三选一的决策硬塞进两个标签。

检查：和一位操作员坐下来，给他看 10 个历史案例，问这组标签是否覆盖了他做出的所有决策。如果他开始解释“批准，但是……”，说明标签集不完整。

## 第 2 步：双方共用一张表

AWS 的参考架构把两个端点的请求和响应都记录到 DynamoDB，以便事后比对。你的做法完全一样，只不过一方是 Agent，另一方是人。

```python
import sqlite3
from datetime import datetime, timezone

db = sqlite3.connect("shadow.db")
db.execute("""
CREATE TABLE IF NOT EXISTS decisions (
  case_id TEXT PRIMARY KEY,
  agent_decision TEXT,
  agent_reason TEXT,
  agent_at TEXT,
  operator_decision TEXT,
  operator_at TEXT
)""")
db.commit()

def now():
    return datetime.now(timezone.utc).isoformat()
```

检查：运行 `sqlite3 shadow.db ".schema"`，应能看到 `decisions` 表。保留 `agent_reason` 列：查看分歧时，这是你第一个要打开的列。

## 第 3 步：包装 Agent，让它无法破坏线上流程

这是最容易出错的一步。Agent 可能很慢、可能失败、可能返回垃圾结果，但操作员绝不能察觉到任何一点。

```python
def shadow_agent(case, run_agent):
    try:
        decision, reason = run_agent(case)
    except Exception as e:
        decision, reason = "ERROR", repr(e)
    db.execute("""
      INSERT INTO decisions (case_id, agent_decision, agent_reason, agent_at)
      VALUES (?, ?, ?, ?)
      ON CONFLICT(case_id) DO UPDATE SET
        agent_decision=excluded.agent_decision,
        agent_reason=excluded.agent_reason,
        agent_at=excluded.agent_at""",
      (case["id"], decision, reason, now()))
    db.commit()
    # 不返回任何内容：Agent 的结果永远不会回到操作员界面。
```

代码用的是 upsert，而不是 `INSERT OR REPLACE`。操作员可能在 Agent 完成之前就已确定决策，`REPLACE` 会清掉他们那一列。在生产环境中，这个函数应通过队列异步运行，避免慢吞吞的 Agent 拖慢操作员界面。

检查：故意让 `run_agent` 抛出异常，然后确认两件事：操作员的界面没有变化，表里多了一行 `ERROR`。

## 第 4 步：在操作员点击按钮的地方记录决策

```python
def record_operator(case_id, decision):
    db.execute("""
      INSERT INTO decisions (case_id, operator_decision, operator_at)
      VALUES (?, ?, ?)
      ON CONFLICT(case_id) DO UPDATE SET
        operator_decision=excluded.operator_decision,
        operator_at=excluded.operator_at""",
      (case_id, decision, now()))
    db.commit()
```

从客户系统自身的“已确定”事件中调用这个函数，而不是从每天结束时导出的汇总表里取数。操作员在确定自己的决策之前，绝不能看到 Agent 的决策。否则你测的是 Agent 对他们的影响，而不是一致性。

## 第 5 步：为什么 89% 可能只算“一般”？

原始一致率很好算：双方选择同一标签的案例数除以总数。Cohen's kappa 通常被认为更稳健，因为它剔除了可能由偶然造成的一致。当某个标签占主导时，这一点最关键，比如本例中的 `approve`。

公式为 κ = (p_o − p_e) / (1 − p_e)，其中 p_o 是观察到的一致率，p_e 是双方各自按惯常频率随机选择时的重合率。

用 100 个假设案例试一下。双方都批准 85 例，都拒绝 4 例。有 5 例操作员批准而 Agent 拒绝，6 例相反。因此 p_o = 0.89。操作员批准 90 例，Agent 批准 91 例，所以 p_e = 0.90 × 0.91 + 0.10 × 0.09 = 0.828。kappa = 0.062 / 0.172 ≈ 0.36。

开头那个全部批准的“偷懒” Agent，p_o = 0.90，p_e = 0.90，kappa 恰好为 0：一致率 90%，却不比跟着多数猜更好。

解读 kappa 时，很多人采用 Landis 和 Koch 的分级：0 到 0.20 为“轻微”，0.21 到 0.40 为“一般”，0.41 到 0.60 为“中等”，0.61 到 0.80 为“高度”。

按这个分级，示例中的 0.36 只算“一般”。这套分级并未被普遍接受为标准，只适合用来定方向，不能当作规则。

**要点:** 一致率高不代表 Agent 好，它可能只是在跟着多数猜。

```python
rows = db.execute("""
  SELECT agent_decision, operator_decision FROM decisions
  WHERE agent_decision IS NOT NULL AND agent_decision != 'ERROR'
    AND operator_decision IS NOT NULL""").fetchall()
n = len(rows)
labels = {a for a, _ in rows} | {o for _, o in rows}
p_o = sum(a == o for a, o in rows) / n
p_e = sum((sum(a == l for a, _ in rows) / n) *
          (sum(o == l for _, o in rows) / n) for l in labels)
kappa = (p_o - p_e) / (1 - p_e) if p_e < 1 else float("nan")
print(f"n={n} agreement={p_o:.2f} kappa={kappa:.2f}")
```

检查：载入上面示例中的 100 行数据，确认脚本输出 `agreement=0.89 kappa=0.36`。然后单独统计 `ERROR` 行。技术故障是另一项指标，不要让它悄悄从分母中消失。

## 第 6 步：期末报告，以及由谁签字

Foundry 的 shadow-mode-runner 技能把 Agent 的影子模式定义为衡量人与 Agent 之间的 `agreement_rate`。该技能在影子期结束时给出三种建议之一：`promote_to_assisted`、`hold_in_shadow` 或 `rollback`。它还明确说明，技能本身不决定是否上线，只负责生成报告，由人签字确认。

照此执行。报告应包括 n、一致率、kappa、错误率、分歧矩阵，以及约 10 个有代表性的分歧案例及其 `agent_reason`。签字人是客户方对该流程负责的人，而不是你。

## 常见错误

第一，只报告一致率。上面的例子说明，89% 可能只对应 0.36 的 kappa。第二，在影子期让操作员看到 Agent 的建议，导致双方决策不再独立。

第三，把两类分歧混为一谈。Agent 拒绝了操作员批准的案例，与 Agent 批准了操作员拒绝的案例，风险截然不同。

第四，忘了成本：无论为哪种服务或模型运行，影子模式本身都会增加系统负载，高峰期资源需求可能翻倍。

## 这项技能在客户现场如何体现

在真实部署中，最难回答的通常不是“Agent 能不能用？”，而是“我们凭什么信任它？”。影子模式用客户自己的数据、在客户自己的员工身上给出答案，而且是在 Agent 获准介入任何事务之前。

职业方面，阅读前线部署工程师（FDE）的岗位描述时，留意“evaluation”“rollout”“human-in-the-loop”这类词：它们背后就是这项技能。简历上写一句“为决策 X 搭建影子模式，在 N 个案例上报告一致率和 kappa，客户签字批准升级为辅助模式”，远比“构建 AI Agent”有分量。

单看一致率，严格的评审很容易挑出毛病。把 kappa 与分歧矩阵放在一起，就很难驳倒，这两组数字才应该出现在你的幻灯片上。

**本周动手试试:**

- 选一项客户每天都要做的决策（退款审批、工单分流），为它写下一组固定标签
- 在 50 个已有操作员决策的案例上运行 kappa 脚本，哪怕 Agent 目前还只是一个简单的提示词
- 第一周逐条人工阅读所有分歧，并为每条写一行原因

## 信源

- [Deploying Machine Learning Models in Shadow Mode](https://christophergs.com/machine learning/2019/03/30/deploying-machine-learning-applications-in-shadow-mode/)

- [New for Amazon SageMaker – Perform Shadow Tests to Compare Inference Performance Between ML Model Variants](https://aws.amazon.com/blogs/aws/new-for-amazon-sagemaker-perform-shadow-tests-to-compare-inference-performance-between-ml-model-variants)

- [Deploy shadow ML models in Amazon SageMaker](https://aws.amazon.com/blogs/machine-learning/deploy-shadow-ml-models-in-amazon-sagemaker)

- [shadow-mode-runner: Tier 3 Operational (Foundry)](https://claudskills.com/skills/shadow-mode-runner/SKILL.md)

- [Cohen's kappa](https://en.wikipedia.org/wiki/Cohen%27s_kappa)
