AI 答错照样返回 HTTP 200,服务台需要一份处置手册
一线支持无需懂模型,只要问清刚改了什么、收齐三项证据,并敢于尽早升级。
要点速览
- LLM 答错时照样返回 HTTP 200,依靠状态码的服务台检查清单发现不了这类问题。
- 第一级只做三件事:问清刚改了什么,把故障归入四类之一,附上提示词版本、检索到的上下文和存档的输出。
- 第二级用预先批准的操作止损,其中回滚要在十分钟内完成;第三级查明原因,并写回手册。
项目交付的最后一周。客户的一线服务台习惯处理登录失败、页面空白、500 错误这类工单。这时一名员工发来截图:内部 AI 助手报错了年假天数。日志里没有一行报错,值班人员便以“无法复现”关闭了工单。
旧的服务台检查清单抓不住这类事故。tianpan.co 博客上的文章《AI Incident Response Playbooks》指出,LLM 编造出的答案照样返回状态码 200,附带的 JSON 结构连最后一个字段都没错。所有基于状态码的告警都会把它当作一次成功的请求。
如果离场时没给客户留下这类故障的分类方法,工单迟早会回到你的收件箱。更糟的是,它可能根本没人接。前线部署工程师(FDE)在交接前要做的,是教会一线识别 AI 故障,把它归入正确的类别,再升级给对的人。
服务台要会分类,而不是懂模型
常见的错误是给服务台讲 embedding 或 temperature。他们用不上这些,需要的是一份三级处置手册,每一级的权限都界定清楚。
第一级是服务台:接收报告、分类、收集证据、创建事故单。第二级是客户的运维团队,有权执行某些预先批准的止损操作。第三级是负责该系统的工程团队,按支持合同可能仍是你本人,负责查找根因。
tianpan.co 的文章建议把 AI 事故分为四类:模型、提示词、数据和基础设施。每一类的负责人不同,修复方法也不同。因此,响应的最初几分钟应该用来给事故归类,而不是急着修。
故障分类必须来自客户自己的 trace
这四类只是一个通用框架。服务台需要的是他们实际使用的系统里的具体例子,唯一的获取途径是阅读真实的 trace。Hamel Husain 在他的 Eval FAQ 中把错误分析称为评测中最重要的工作,因为它能暴露只属于你的应用和你的数据的故障模式。
方法分两步。第一步是开放式编码(open coding):逐条阅读 trace,随手写下笔记,不预设任何分类;Husain 把它比作写日记。第二步是主轴编码(axial coding):把笔记归纳成故障分类,并统计每类的故障数量。Husain 认为这是最重要的一步。
假设你在读一个 HR 助手的 trace,给每条随手写一句笔记:“明明有新政策,却引用了旧政策”“文档对了,段落错了”“最后一句话被截断”“问到薪资等级时超时”“从昨天起改用项目符号列表了”。写的时候不必给任何类别命名。
归类时,前两条成为“检索到错误的文档或段落”,属于数据类。截断和超时属于基础设施类,格式变化则提示提示词刚被改过。如果统计显示检索问题占了大多数,第一级检查清单里这一行就要写得最仔细。
当新的 trace 不再揭示新的故障类型、也不再改变现有分类时,就可以停下。Husain 称之为理论饱和(theoretical saturation)。最终得到一份附有计数的故障清单,再把每种故障类型放进四类之一。
| 类别 | 服务台看到的现象 | 首先要问 |
|---|---|---|
| 提示词 | 所有用户收到的回答语气或格式突然改变 | 提示词是不是刚改过? |
| 数据 | 在某个特定主题上出错,引用了过时或错误的文档 | 有人刚上传或删除过文档吗? |
| 模型 | 提示词和数据都没变,质量却全面下降 | 服务商是否更换了模型版本? |
| 基础设施 | 响应慢、超时、回答中途截断 | 网络、配额或配置是不是刚变过? |
中间一列必须由你用客户 trace 里的例子亲自填写。上表只是一个起点。
一张工单走完三级
回到年假天数那张工单。dev.to 上发布的一份 LLM 调试手册把分诊问题概括为:改了什么,改在谁那边?这也应该是第一级检查清单的第一行,排在任何关于模型的猜测之前。
假设值班人员询问 HR 团队,得知他们周一上传了一套新政策。故障只出现在关于休假的问题上,其他主题仍然回答正确。所以这是一起数据事故。值班人员按下面的模板开单:
[AI 事故] HR 助手给出错误的年假天数
发现时间:周三 9:40
疑似类别:数据
近期变更:HR 于周一上传了新的政策文件
证据:
- 当时运行的提示词版本:(从仪表盘获取)
- 检索到的上下文:(文档及段落列表)
- 存档的模型输出:(原文照录,不要重新输入)
可复现:是,用原问题测试 3/3 次
升级至:第二级
三行证据来自 dev.to 的那份手册:生产环境中的提示词版本、检索到的上下文,以及完整存档的输出。缺了这三项,第三级只能靠猜。所以交接前要确认系统存下了这三项,并且服务台知道去哪里找。
第二级先止血,再查原因
tianpan.co 的文章说得很直接:在弄清原因之前先控制损失。手段包括回滚提示词、固定模型版本或使用功能开关。这些正是你应该预先批准的操作,让客户运维团队无需等待任何人即可自行执行。
dev.to 的手册还补充了两个值得写进交接文档的细节。回滚时间应控制在十分钟以内。另外要准备一个 kill-switch 提示词,即经过审核、确认可正常工作的版本,在其他办法都失效时切换过去。
对于年假天数这张工单,第二级可以用功能开关关闭休假主题,并显示一条消息,引导用户查看原始政策页面。之后第三级再去排查:是新文档切块(chunking)出了错,还是旧文档从未从索引中移除。
尽早报警要有书面授权
一线员工往往不敢在证明原因之前就开事故单。Google 的《SRE Incident Response Workbook》确立了相反的原则:尽早、频繁地宣布事故。该书还建议明确告诉值班人员,处理事故时他们有权委派和升级。
把这一点写进手册,一行即可:升级不追责,即使最后证明是误报。没有这一行,服务台就会慢慢回到以“无法复现”关单的老路。
最后,每一起第三级事故都必须反馈回手册。Google 的 SRE 书中写道,没有比记录下出过的故障更好的学习方式。新的故障类型加进表格,新的现象补进中间一列。
手册通常是怎么失效的
最常见的情况是故障分类凭想象写成,而不是来自 trace。服务台遇到的例子与现实对不上,便弃用了手册。第二种是列出了要附的证据,系统却还没有存储,值班人员无从填写。
第三种是第二级除了“升级”之外没有任何权限,没有预先批准的操作,每起事故都要等工程师。第四种是一次性交接,每次事故后没有人负责更新手册。
工作完成后,在简历上写得比“编写交接文档”更具体:你基于真实 trace 建立了故障分类,并设计了一套三级处置手册,让客户团队能够自行处理 AI 事故。
检验交接成果的,是你离开后的第一张“答案错误”工单:它能否被正确分类,并在没人给你打电话的情况下送到对的人手里。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Q: Why is "error analysis" so important in AI evals, and how is it performed? – Hamel's Blog · 2025-06-27
- AI Incident Response Playbooks: Why Your On-Call Runbook Doesn't Work for LLMs · 2026-04-20
- Debugging an LLM Bug at 3 AM: The Runbook I Wish I'd Had · 2026-04-18
- Chapter 13 - Emergency Response (Site Reliability Engineering)
- Chapter 9 - Incident Response (Site Reliability Workbook)