FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

与人工 90% 一致,Agent 也可能什么都没学会

影子模式下记录 Agent 与操作员的决策,几十行 Python 算出 kappa,看一致率是否超出偶然。

分享微博

要点速览

  • 影子模式下,Agent 收到真实请求的副本,用户看到的仍只是现有流程的输出。
  • 某一种决策占绝对多数时,原始一致率会误导人。kappa 会扣除偶然重合的部分。
  • 影子期以一份上线、维持或回滚报告收尾。由人签字确认,系统不自行决定。
横向条形图,对比两个假设的 Agent 在 100 个退款案例上的表现。全部批准的 Agent 一致率为 90%,kappa 为 0;示例 Agent 一致率为 89%,kappa 为 0.36。
两者一致率几乎相同,但 kappa 显示,只会点“批准”的 Agent 并不比跟随多数更好。来源:文中假设的 100 个案例,按 Cohen's kappa 公式计算。

假设你的退款审批 Agent 在 100 个案例中有 90 个与操作员一致。写进状态报告里,这个数字看起来不错。但如果操作员恰好批准了 90 个案例,而 Agent 只是对所有案例都点了“批准”,它同样能拿到 90%,却什么也没学会。

所以,在 Agent 接触真实决策之前,需要一段观察期,还需要一个不会被漂亮数字骗过的指标。本指南逐步讲解:为一项业务决策搭建影子模式,记录双方决策,计算一致率和 Cohen’s kappa,最后撰写期末报告。

只需要 Python 3 和内置的 sqlite3 模块。下面的代码为教学做了简化。在客户现场,存储会用客户系统现有的数据库或队列。

影子模式到底是什么?

Christopher Samiullah 将影子模式描述为一种技术:把生产环境的流量和数据送入服务或模型的新版本。新版本真实运行,但输出永远不会到达用户。AWS SageMaker 的影子测试遵循同样的原则:影子模型收到真实请求的副本,而调用方应用只收到生产模型的响应。

Agent 同理。操作员照常工作,Agent 在后台自行决策,所有内容都记录下来。

据 AWS 介绍,这样做的目的是在影响最终用户之前发现配置和性能问题。影子测试之后是受控的逐步上线,而不是一次性切换。

影子模式并非没有代价。Samiullah 指出,它会增加系统负载,高峰期资源需求可能翻倍。这一点要提前告诉客户,别让他们在账单上才发现。

第 1 步:固定一项决策和一组标签

选一项输出离散的决策。这里的例子是退款申请,有 approve 和 reject 两个标签。如果操作员实际上还有“升级处理”选项,就把它作为第三个标签加进来。不要把三选一的决策硬塞进两个标签。

检查:和一位操作员坐下来,给他看 10 个历史案例,问这组标签是否覆盖了他做出的所有决策。如果他开始解释“批准,但是……”,说明标签集不完整。

第 2 步:双方共用一张表

AWS 的参考架构把两个端点的请求和响应都记录到 DynamoDB,以便事后比对。你的做法完全一样,只不过一方是 Agent,另一方是人。

import sqlite3
from datetime import datetime, timezone

db = sqlite3.connect("shadow.db")
db.execute("""
CREATE TABLE IF NOT EXISTS decisions (
  case_id TEXT PRIMARY KEY,
  agent_decision TEXT,
  agent_reason TEXT,
  agent_at TEXT,
  operator_decision TEXT,
  operator_at TEXT
)""")
db.commit()

def now():
    return datetime.now(timezone.utc).isoformat()

检查:运行 sqlite3 shadow.db ".schema",应能看到 decisions 表。保留 agent_reason 列:查看分歧时,这是你第一个要打开的列。

第 3 步:包装 Agent,让它无法破坏线上流程

这是最容易出错的一步。Agent 可能很慢、可能失败、可能返回垃圾结果,但操作员绝不能察觉到任何一点。

def shadow_agent(case, run_agent):
    try:
        decision, reason = run_agent(case)
    except Exception as e:
        decision, reason = "ERROR", repr(e)
    db.execute("""
      INSERT INTO decisions (case_id, agent_decision, agent_reason, agent_at)
      VALUES (?, ?, ?, ?)
      ON CONFLICT(case_id) DO UPDATE SET
        agent_decision=excluded.agent_decision,
        agent_reason=excluded.agent_reason,
        agent_at=excluded.agent_at""",
      (case["id"], decision, reason, now()))
    db.commit()
    # 不返回任何内容:Agent 的结果永远不会回到操作员界面。

代码用的是 upsert,而不是 INSERT OR REPLACE。操作员可能在 Agent 完成之前就已确定决策,REPLACE 会清掉他们那一列。在生产环境中,这个函数应通过队列异步运行,避免慢吞吞的 Agent 拖慢操作员界面。

检查:故意让 run_agent 抛出异常,然后确认两件事:操作员的界面没有变化,表里多了一行 ERROR。

第 4 步:在操作员点击按钮的地方记录决策

def record_operator(case_id, decision):
    db.execute("""
      INSERT INTO decisions (case_id, operator_decision, operator_at)
      VALUES (?, ?, ?)
      ON CONFLICT(case_id) DO UPDATE SET
        operator_decision=excluded.operator_decision,
        operator_at=excluded.operator_at""",
      (case_id, decision, now()))
    db.commit()

从客户系统自身的“已确定”事件中调用这个函数,而不是从每天结束时导出的汇总表里取数。操作员在确定自己的决策之前,绝不能看到 Agent 的决策。否则你测的是 Agent 对他们的影响,而不是一致性。

第 5 步:为什么 89% 可能只算“一般”?

原始一致率很好算:双方选择同一标签的案例数除以总数。Cohen’s kappa 通常被认为更稳健,因为它剔除了可能由偶然造成的一致。当某个标签占主导时,这一点最关键,比如本例中的 approve。

公式为 κ = (p_o − p_e) / (1 − p_e),其中 p_o 是观察到的一致率,p_e 是双方各自按惯常频率随机选择时的重合率。

用 100 个假设案例试一下。双方都批准 85 例,都拒绝 4 例。有 5 例操作员批准而 Agent 拒绝,6 例相反。因此 p_o = 0.89。操作员批准 90 例,Agent 批准 91 例,所以 p_e = 0.90 × 0.91 + 0.10 × 0.09 = 0.828。kappa = 0.062 / 0.172 ≈ 0.36。

开头那个全部批准的“偷懒” Agent,p_o = 0.90,p_e = 0.90,kappa 恰好为 0:一致率 90%,却不比跟着多数猜更好。

解读 kappa 时,很多人采用 Landis 和 Koch 的分级:0 到 0.20 为“轻微”,0.21 到 0.40 为“一般”,0.41 到 0.60 为“中等”,0.61 到 0.80 为“高度”。

按这个分级,示例中的 0.36 只算“一般”。这套分级并未被普遍接受为标准,只适合用来定方向,不能当作规则。

rows = db.execute("""
  SELECT agent_decision, operator_decision FROM decisions
  WHERE agent_decision IS NOT NULL AND agent_decision != 'ERROR'
    AND operator_decision IS NOT NULL""").fetchall()
n = len(rows)
labels = {a for a, _ in rows} | {o for _, o in rows}
p_o = sum(a == o for a, o in rows) / n
p_e = sum((sum(a == l for a, _ in rows) / n) *
          (sum(o == l for _, o in rows) / n) for l in labels)
kappa = (p_o - p_e) / (1 - p_e) if p_e < 1 else float("nan")
print(f"n={n} agreement={p_o:.2f} kappa={kappa:.2f}")

检查:载入上面示例中的 100 行数据,确认脚本输出 agreement=0.89 kappa=0.36。然后单独统计 ERROR 行。技术故障是另一项指标,不要让它悄悄从分母中消失。

第 6 步:期末报告,以及由谁签字

Foundry 的 shadow-mode-runner 技能把 Agent 的影子模式定义为衡量人与 Agent 之间的 agreement_rate。该技能在影子期结束时给出三种建议之一:promote_to_assisted、hold_in_shadow 或 rollback。它还明确说明,技能本身不决定是否上线,只负责生成报告,由人签字确认。

照此执行。报告应包括 n、一致率、kappa、错误率、分歧矩阵,以及约 10 个有代表性的分歧案例及其 agent_reason。签字人是客户方对该流程负责的人,而不是你。

常见错误

第一,只报告一致率。上面的例子说明,89% 可能只对应 0.36 的 kappa。第二,在影子期让操作员看到 Agent 的建议,导致双方决策不再独立。

第三,把两类分歧混为一谈。Agent 拒绝了操作员批准的案例,与 Agent 批准了操作员拒绝的案例,风险截然不同。

第四,忘了成本:无论为哪种服务或模型运行,影子模式本身都会增加系统负载,高峰期资源需求可能翻倍。

这项技能在客户现场如何体现

在真实部署中,最难回答的通常不是“Agent 能不能用?”,而是“我们凭什么信任它?”。影子模式用客户自己的数据、在客户自己的员工身上给出答案,而且是在 Agent 获准介入任何事务之前。

职业方面,阅读前线部署工程师(FDE)的岗位描述时,留意“evaluation”“rollout”“human-in-the-loop”这类词:它们背后就是这项技能。简历上写一句“为决策 X 搭建影子模式,在 N 个案例上报告一致率和 kappa,客户签字批准升级为辅助模式”,远比“构建 AI Agent”有分量。

单看一致率,严格的评审很容易挑出毛病。把 kappa 与分歧矩阵放在一起,就很难驳倒,这两组数字才应该出现在你的幻灯片上。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量集成在客户网络上跑一小时就卡死?问题出在空闲连接防火墙悄悄丢弃空闲连接,连接池却照常分发;扩容、加重试、加 worker 只会让故障更严重。