FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

AI 答错照样返回 HTTP 200,服务台需要一份处置手册

一线支持无需懂模型,只要问清刚改了什么、收齐三项证据,并敢于尽早升级。

分享微博

要点速览

  • LLM 答错时照样返回 HTTP 200,依靠状态码的服务台检查清单发现不了这类问题。
  • 第一级只做三件事:问清刚改了什么,把故障归入四类之一,附上提示词版本、检索到的上下文和存档的输出。
  • 第二级用预先批准的操作止损,其中回滚要在十分钟内完成;第三级查明原因,并写回手册。
一线服务台的决策树。根问题“改了什么?”分出四个故障类别:提示词、数据、模型、基础设施。每类对应一个即时操作:回滚提示词、停用出错的主题、固定模型版本、检查配额和网络。四个分支最终汇合到同一步:收集提示词版本、检索到的上下文和存档的输出,然后升级到第二级。
AI 故障照样返回 200,所以一线支持首先要问刚改了什么。答案能指明事故属于哪一类,以及立即该做什么来控制损失。每个分支在升级到第二级之前都必须收齐三项证据。来源:tianpan.co(《AI Incident Response Playbooks》)、dev.to 上的 LLM 调试手册。

项目交付的最后一周。客户的一线服务台习惯处理登录失败、页面空白、500 错误这类工单。这时一名员工发来截图:内部 AI 助手报错了年假天数。日志里没有一行报错,值班人员便以“无法复现”关闭了工单。

旧的服务台检查清单抓不住这类事故。tianpan.co 博客上的文章《AI Incident Response Playbooks》指出,LLM 编造出的答案照样返回状态码 200,附带的 JSON 结构连最后一个字段都没错。所有基于状态码的告警都会把它当作一次成功的请求。

如果离场时没给客户留下这类故障的分类方法,工单迟早会回到你的收件箱。更糟的是,它可能根本没人接。前线部署工程师(FDE)在交接前要做的,是教会一线识别 AI 故障,把它归入正确的类别,再升级给对的人。

服务台要会分类,而不是懂模型

常见的错误是给服务台讲 embedding 或 temperature。他们用不上这些,需要的是一份三级处置手册,每一级的权限都界定清楚。

第一级是服务台:接收报告、分类、收集证据、创建事故单。第二级是客户的运维团队,有权执行某些预先批准的止损操作。第三级是负责该系统的工程团队,按支持合同可能仍是你本人,负责查找根因。

tianpan.co 的文章建议把 AI 事故分为四类:模型、提示词、数据和基础设施。每一类的负责人不同,修复方法也不同。因此,响应的最初几分钟应该用来给事故归类,而不是急着修。

故障分类必须来自客户自己的 trace

这四类只是一个通用框架。服务台需要的是他们实际使用的系统里的具体例子,唯一的获取途径是阅读真实的 trace。Hamel Husain 在他的 Eval FAQ 中把错误分析称为评测中最重要的工作,因为它能暴露只属于你的应用和你的数据的故障模式。

方法分两步。第一步是开放式编码(open coding):逐条阅读 trace,随手写下笔记,不预设任何分类;Husain 把它比作写日记。第二步是主轴编码(axial coding):把笔记归纳成故障分类,并统计每类的故障数量。Husain 认为这是最重要的一步。

假设你在读一个 HR 助手的 trace,给每条随手写一句笔记:“明明有新政策,却引用了旧政策”“文档对了,段落错了”“最后一句话被截断”“问到薪资等级时超时”“从昨天起改用项目符号列表了”。写的时候不必给任何类别命名。

归类时,前两条成为“检索到错误的文档或段落”,属于数据类。截断和超时属于基础设施类,格式变化则提示提示词刚被改过。如果统计显示检索问题占了大多数,第一级检查清单里这一行就要写得最仔细。

当新的 trace 不再揭示新的故障类型、也不再改变现有分类时,就可以停下。Husain 称之为理论饱和(theoretical saturation)。最终得到一份附有计数的故障清单,再把每种故障类型放进四类之一。

类别 服务台看到的现象 首先要问
提示词 所有用户收到的回答语气或格式突然改变 提示词是不是刚改过?
数据 在某个特定主题上出错,引用了过时或错误的文档 有人刚上传或删除过文档吗?
模型 提示词和数据都没变,质量却全面下降 服务商是否更换了模型版本?
基础设施 响应慢、超时、回答中途截断 网络、配额或配置是不是刚变过?

中间一列必须由你用客户 trace 里的例子亲自填写。上表只是一个起点。

一张工单走完三级

回到年假天数那张工单。dev.to 上发布的一份 LLM 调试手册把分诊问题概括为:改了什么,改在谁那边?这也应该是第一级检查清单的第一行,排在任何关于模型的猜测之前。

假设值班人员询问 HR 团队,得知他们周一上传了一套新政策。故障只出现在关于休假的问题上,其他主题仍然回答正确。所以这是一起数据事故。值班人员按下面的模板开单:

[AI 事故] HR 助手给出错误的年假天数
发现时间:周三 9:40
疑似类别:数据
近期变更:HR 于周一上传了新的政策文件
证据:
  - 当时运行的提示词版本:(从仪表盘获取)
  - 检索到的上下文:(文档及段落列表)
  - 存档的模型输出:(原文照录,不要重新输入)
可复现:是,用原问题测试 3/3 次
升级至:第二级

三行证据来自 dev.to 的那份手册:生产环境中的提示词版本、检索到的上下文,以及完整存档的输出。缺了这三项,第三级只能靠猜。所以交接前要确认系统存下了这三项,并且服务台知道去哪里找。

第二级先止血,再查原因

tianpan.co 的文章说得很直接:在弄清原因之前先控制损失。手段包括回滚提示词、固定模型版本或使用功能开关。这些正是你应该预先批准的操作,让客户运维团队无需等待任何人即可自行执行。

dev.to 的手册还补充了两个值得写进交接文档的细节。回滚时间应控制在十分钟以内。另外要准备一个 kill-switch 提示词,即经过审核、确认可正常工作的版本,在其他办法都失效时切换过去。

对于年假天数这张工单,第二级可以用功能开关关闭休假主题,并显示一条消息,引导用户查看原始政策页面。之后第三级再去排查:是新文档切块(chunking)出了错,还是旧文档从未从索引中移除。

尽早报警要有书面授权

一线员工往往不敢在证明原因之前就开事故单。Google 的《SRE Incident Response Workbook》确立了相反的原则:尽早、频繁地宣布事故。该书还建议明确告诉值班人员,处理事故时他们有权委派和升级。

把这一点写进手册,一行即可:升级不追责,即使最后证明是误报。没有这一行,服务台就会慢慢回到以“无法复现”关单的老路。

最后,每一起第三级事故都必须反馈回手册。Google 的 SRE 书中写道,没有比记录下出过的故障更好的学习方式。新的故障类型加进表格,新的现象补进中间一列。

手册通常是怎么失效的

最常见的情况是故障分类凭想象写成,而不是来自 trace。服务台遇到的例子与现实对不上,便弃用了手册。第二种是列出了要附的证据,系统却还没有存储,值班人员无从填写。

第三种是第二级除了“升级”之外没有任何权限,没有预先批准的操作,每起事故都要等工程师。第四种是一次性交接,每次事故后没有人负责更新手册。

工作完成后,在简历上写得比“编写交接文档”更具体:你基于真实 trace 建立了故障分类,并设计了一套三级处置手册,让客户团队能够自行处理 AI 事故。

检验交接成果的,是你离开后的第一张“答案错误”工单:它能否被正确分类,并在没人给你打电话的情况下送到对的人手里。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 7: 项目主导项目验收全绿,FDE 一走照样失败移交支持团队应是一道验收关:书面标准、指定负责人、固定的 hypercare 期和正式签收日期。