# AI 答错照样返回 HTTP 200，服务台需要一份处置手册

> 一线支持无需懂模型，只要问清刚改了什么、收齐三项证据，并敢于尽早升级。

原文: https://fdetimes.net/zh/guides/three-tier-runbook-ai-incidents-helpdesk/

项目交付的最后一周。客户的一线服务台习惯处理登录失败、页面空白、500 错误这类工单。这时一名员工发来截图：内部 AI 助手报错了年假天数。日志里没有一行报错，值班人员便以“无法复现”关闭了工单。

旧的服务台检查清单抓不住这类事故。tianpan.co 博客上的文章《AI Incident Response Playbooks》指出，LLM 编造出的答案照样返回状态码 200，附带的 JSON 结构连最后一个字段都没错。所有基于状态码的告警都会把它当作一次成功的请求。

如果离场时没给客户留下这类故障的分类方法，工单迟早会回到你的收件箱。更糟的是，它可能根本没人接。前线部署工程师（FDE）在交接前要做的，是教会一线识别 AI 故障，把它归入正确的类别，再升级给对的人。

## 服务台要会分类，而不是懂模型

常见的错误是给服务台讲 embedding 或 temperature。他们用不上这些，需要的是一份三级处置手册，每一级的权限都界定清楚。

第一级是服务台：接收报告、分类、收集证据、创建事故单。第二级是客户的运维团队，有权执行某些预先批准的止损操作。第三级是负责该系统的工程团队，按支持合同可能仍是你本人，负责查找根因。

tianpan.co 的文章建议把 AI 事故分为四类：模型、提示词、数据和基础设施。每一类的负责人不同，修复方法也不同。因此，响应的最初几分钟应该用来给事故归类，而不是急着修。

## 故障分类必须来自客户自己的 trace

这四类只是一个通用框架。服务台需要的是他们实际使用的系统里的具体例子，唯一的获取途径是阅读真实的 trace。Hamel Husain 在他的 Eval FAQ 中把错误分析称为评测中最重要的工作，因为它能暴露只属于你的应用和你的数据的故障模式。

方法分两步。第一步是开放式编码（open coding）：逐条阅读 trace，随手写下笔记，不预设任何分类；Husain 把它比作写日记。第二步是主轴编码（axial coding）：把笔记归纳成故障分类，并统计每类的故障数量。Husain 认为这是最重要的一步。

假设你在读一个 HR 助手的 trace，给每条随手写一句笔记：“明明有新政策，却引用了旧政策”“文档对了，段落错了”“最后一句话被截断”“问到薪资等级时超时”“从昨天起改用项目符号列表了”。写的时候不必给任何类别命名。

归类时，前两条成为“检索到错误的文档或段落”，属于数据类。截断和超时属于基础设施类，格式变化则提示提示词刚被改过。如果统计显示检索问题占了大多数，第一级检查清单里这一行就要写得最仔细。

当新的 trace 不再揭示新的故障类型、也不再改变现有分类时，就可以停下。Husain 称之为理论饱和（theoretical saturation）。最终得到一份附有计数的故障清单，再把每种故障类型放进四类之一。

| 类别 | 服务台看到的现象 | 首先要问 |
|---|---|---|
| 提示词 | 所有用户收到的回答语气或格式突然改变 | 提示词是不是刚改过？ |
| 数据 | 在某个特定主题上出错，引用了过时或错误的文档 | 有人刚上传或删除过文档吗？ |
| 模型 | 提示词和数据都没变，质量却全面下降 | 服务商是否更换了模型版本？ |
| 基础设施 | 响应慢、超时、回答中途截断 | 网络、配额或配置是不是刚变过？ |

中间一列必须由你用客户 trace 里的例子亲自填写。上表只是一个起点。

## 一张工单走完三级

回到年假天数那张工单。dev.to 上发布的一份 LLM 调试手册把分诊问题概括为：改了什么，改在谁那边？这也应该是第一级检查清单的第一行，排在任何关于模型的猜测之前。

假设值班人员询问 HR 团队，得知他们周一上传了一套新政策。故障只出现在关于休假的问题上，其他主题仍然回答正确。所以这是一起数据事故。值班人员按下面的模板开单：

```
[AI 事故] HR 助手给出错误的年假天数
发现时间：周三 9:40
疑似类别：数据
近期变更：HR 于周一上传了新的政策文件
证据：
  - 当时运行的提示词版本：（从仪表盘获取）
  - 检索到的上下文：（文档及段落列表）
  - 存档的模型输出：（原文照录，不要重新输入）
可复现：是，用原问题测试 3/3 次
升级至：第二级
```

三行证据来自 dev.to 的那份手册：生产环境中的提示词版本、检索到的上下文，以及完整存档的输出。缺了这三项，第三级只能靠猜。所以交接前要确认系统存下了这三项，并且服务台知道去哪里找。

## 第二级先止血，再查原因

tianpan.co 的文章说得很直接：在弄清原因之前先控制损失。手段包括回滚提示词、固定模型版本或使用功能开关。这些正是你应该预先批准的操作，让客户运维团队无需等待任何人即可自行执行。

dev.to 的手册还补充了两个值得写进交接文档的细节。回滚时间应控制在十分钟以内。另外要准备一个 kill-switch 提示词，即经过审核、确认可正常工作的版本，在其他办法都失效时切换过去。

对于年假天数这张工单，第二级可以用功能开关关闭休假主题，并显示一条消息，引导用户查看原始政策页面。之后第三级再去排查：是新文档切块（chunking）出了错，还是旧文档从未从索引中移除。

**要点:** 服务台不需要知道 AI 为什么答错，只需要知道该问什么、该找谁。

## 尽早报警要有书面授权

一线员工往往不敢在证明原因之前就开事故单。Google 的《SRE Incident Response Workbook》确立了相反的原则：尽早、频繁地宣布事故。该书还建议明确告诉值班人员，处理事故时他们有权委派和升级。

把这一点写进手册，一行即可：升级不追责，即使最后证明是误报。没有这一行，服务台就会慢慢回到以“无法复现”关单的老路。

最后，每一起第三级事故都必须反馈回手册。Google 的 SRE 书中写道，没有比记录下出过的故障更好的学习方式。新的故障类型加进表格，新的现象补进中间一列。

## 手册通常是怎么失效的

最常见的情况是故障分类凭想象写成，而不是来自 trace。服务台遇到的例子与现实对不上，便弃用了手册。第二种是列出了要附的证据，系统却还没有存储，值班人员无从填写。

第三种是第二级除了“升级”之外没有任何权限，没有预先批准的操作，每起事故都要等工程师。第四种是一次性交接，每次事故后没有人负责更新手册。

工作完成后，在简历上写得比“编写交接文档”更具体：你基于真实 trace 建立了故障分类，并设计了一套三级处置手册，让客户团队能够自行处理 AI 事故。

检验交接成果的，是你离开后的第一张“答案错误”工单：它能否被正确分类，并在没人给你打电话的情况下送到对的人手里。

**本周动手试试:**

- 从你正在部署的系统中取 30 条真实 trace，每条写一句随手笔记，然后归纳成故障类别并分别计数。
- 起草一份不超过一页的第一级检查清单，请一位工程团队以外的同事用它处理一张模拟工单。
- 检查系统是否为每个请求存储了提示词版本、检索到的上下文和输出；如果没有，排进下一个迭代。

## 信源

- [Q: Why is "error analysis" so important in AI evals, and how is it performed? – Hamel's Blog](https://hamel.dev/blog/posts/evals-faq/why-is-error-analysis-so-important-in-llm-evals-and-how-is-it-performed.html)

- [AI Incident Response Playbooks: Why Your On-Call Runbook Doesn't Work for LLMs](https://tianpan.co/blog/2026-04-20-ai-incident-response-playbooks)

- [Debugging an LLM Bug at 3 AM: The Runbook I Wish I'd Had](https://dev.to/gabrielanhaia/debugging-an-llm-bug-at-3-am-the-runbook-i-wish-id-had-991)

- [Chapter 13 - Emergency Response (Site Reliability Engineering)](https://sre.google/sre-book/emergency-response/)

- [Chapter 9 - Incident Response (Site Reliability Workbook)](https://sre.google/workbook/incident-response/)
