Agent 出错后,会上总有人问:谁批准的?
在项目仓库里建 RAID 日志和决策日志,审批人与负责人分列,提前备好答案。
要点速览
- RAID 日志跟踪四类条目:风险、假设、问题和依赖。做 AI 项目时,先写假设,再写风险。
- 把 OWASP LLM Top 10 2025 当作梳理 AI 风险的检查清单,但每一项都要改写成客户系统上的具体场景。
- ADR 格式的决策日志只记录重大决策,并写明参与人姓名。审批人必须是客户方的具体某个人。
OWASP 在 2025 年版 LLM 风险清单中列入了“过度授权”(Excessive Agency),编号 LLM06。
在客户项目里,这类风险很少在代码评审时暴露。它通常出现在会议上:有人点头同意让 Agent 写入客户系统,却没人把这次点头记下来。
所以,前线部署工程师(FDE)需要两份听上去枯燥、关键时刻却能救项目的文档:RAID 日志和决策日志。出了事故,它们能回答三个问题:事先预见了什么,谁接受了风险,以及为什么。
两份文档都可以直接放在项目仓库里,前提是多一列,并且和负责人分开:审批人,也就是有权接受风险的人。
要做什么,需要准备什么
最终产物是一个 raid-log.md 文件和一个 decisions/ 目录,每项决策单独一个文件。选 Markdown 有道理:可以通过 pull request 评审,有变更历史,客户不用装任何软件就能看。
如果客户坚持用自己的项目管理工具,保留下面这套列即可。
贯穿全文的示例是一个假设项目:为一家保险公司的客服部门搭建内部 RAG 聊天机器人,另有一项提议,让 Agent 自动发送邮件回复。示例中的所有角色和日期均为假设。
需要准备三样东西:一个团队和客户对接人都能读的仓库,一份客户方有决策权的人员名单,以及和技术负责人坐下来谈半小时。
第 1 步:搭好四部分框架,有两列不能合并
据 Process Street 的定义,RAID 日志是在整个项目周期内跟踪风险、假设、问题和依赖的集中存储库。
简单来说:风险是可能导致项目延期或达不成目标的事件;假设是被当作事实、但尚未验证的事情;依赖是必须等其他工作或外部因素完成后才能推进的工作;问题则是已经发生的事情。
四部分放在同一个文件里,共用一套列,之后筛选和交叉引用都方便。
# RAID 日志 — 客服聊天机器人(示例)
| ID | 类型 | 描述 | 影响 | 负责人 | 审批人 | 状态 | 更新日期 | 相关决策 |
|----|------|------|------|--------|--------|------|----------|----------|
“类型”列只取四个值之一:R、A、I 或 D。负责人是要对该条目采取行动的人,审批人是有权接受风险或关闭条目的人。两列有意分开:FDE 往往是负责人,却很少有权代客户接受风险。
审批人一列也与 NIST AI RMF 相契合。根据该框架的 Playbook,GOVERN 2 要求建立问责结构,让合适的团队和个人获得授权,并对 AI 风险管理负责。GOVERN 2.1 要求将角色和职责形成文档。
NIST 于 2023 年 1 月 26 日发布该框架,采用与否完全自愿。即便如此,客户问起为什么日志要有这一列时,引用 GOVERN 比“团队觉得需要”有说服力得多。
检查: 问问自己,如果 FDE 明天离职,读日志的人能否知道每一行由谁负责。
第 2 步:先写假设,再写风险
设想项目启动会上,客户断言业务文档状况良好,直接建索引就行。这还不是事实,而是假设。在 RAG 项目中,这是第一个值得验证的假设,因为聊天机器人回答的质量取决于它读到的文档。
先写假设再写风险,看似顺序反了,但很多风险正是从没人核实过的假设里长出来的。先把假设写下来,才清楚自己站在什么基础上。
| A-01 | A | 业务文档足够干净、足够新,可作为 RAG 数据源 | 若不成立:聊天机器人按过时流程作答 | FDE | 客服负责人 | 未验证 — 截止 2026-10-16 | 2026-10-09 | — |
每条假设都要有验证方法和截止日期。例如抽查 20 份文档,和客服负责人一起标出过时的部分。如果验证发现假设不成立,不要删除这一行,而是新建一行 R 或 I,并回指 A-01。
检查: 每一行 A 要么写“未验证”并附截止日期,要么写“已验证”并附日期。不能只写“OK”。
第 3 步:用 OWASP 作为梳理 AI 风险的检查清单
和技术负责人坐下来列 AI 风险时,最难的是面对一张白纸:人人都知道模型会出错,却说不出错在哪里。这时可以打开 OWASP LLM Top 10 2025 清单作为提示。对示例项目来说,有三项值得考虑:LLM01 提示词注入(Prompt Injection)、LLM02 敏感信息泄露(Sensitive Information Disclosure)和 LLM06 过度授权(Excessive Agency)。
| R-01 | R | 权限不足的员工向聊天机器人提问,拿到了投保人的个人信息(OWASP LLM02:2025) | 数据泄露;项目可能被叫停 | FDE | 客户安全代表 | 未关闭 | 2026-10-09 | DEC-002 |
| R-02 | R | Agent 向真实客户发送了内容错误的邮件(OWASP LLM06:2025) | 客户投诉,声誉受损 | FDE | 客服总监 | 未关闭 | 2026-10-09 | DEC-001 |
| R-03 | R | 源文档或提问中的内容扭曲了模型行为(OWASP LLM01:2025) | 回答错误,限制被绕过 | FDE | 客户技术负责人 | 未关闭 | 2026-10-09 | — |
每项风险都要写成客户系统上的具体场景,不要照抄 OWASP 的条目名。只写“Prompt Injection”的一行,谁也不知道该做什么;写清楚谁做了什么、造成什么后果的一行,才会有人认领。
检查: 每项 AI 风险的审批人都必须是客户方人员,因为只有他们有权接受涉及自身数据和客户的风险。
第 4 步:依赖和问题,两个常被空着的部分
在客户现场,最先卡住你的往往不是模型,而是迟迟没开通的账号。客户系统的访问权限是典型的依赖。用 DEP- 前缀,以免和决策编号混淆。
| DEP-01 | D | 需要客服文档库的读取权限以建立索引 | 没有权限就无法开始评测 | FDE | 客户 IT 负责人 | 等待中 | 2026-10-09 | — |
R 和 I 的界线保持简单:可能发生的放 R,已经发生的移到 I。如果 DEP-01 拖了两周,新开一行 I 并回指 DEP-01,而不是只改日期。
第 5 步:每项重大决策单独一个 ADR 格式文件
工程师其实已经熟悉一种合适的格式。架构决策记录(ADR)记录一项架构决策及其理由。据 adr.github.io,一个项目全部 ADR 的集合就是该项目的决策日志。
示例中的决策文件使用 QĐ 前缀,取自越南语 quyết định(“决策”)。
# DEC-001:Agent 只起草邮件,从不发送
日期:2026-10-09(示例)
状态:已批准
参与人:FDE、技术负责人、客服总监、安全代表
审批人:客服总监
相关风险:R-02
## 背景
有人提议让 Agent 自动回复客户邮件。
## 决策
Agent 只生成草稿;由客服人员点击发送。
## 被否决的方案
对“简单问题”类邮件自动发送。
## 影响
响应变慢;有了评测数据后重新评估。
QĐ-002 沿用同一模板,例如:聊天机器人只检索提问人有权查看的文档,投保人的个人档案不建索引。审批人是客户的安全代表,相关风险是 R-01。
并不是每件事都需要一个文件。Fellow 建议只为高影响的决策保留详细的决策日志,比如招聘、预算或重大事项,而不是记录每一次小讨论。在 AI 项目中,可以这样设门槛:凡是改变模型能看到哪些数据、Agent 能执行哪些操作的决策,都必须有文件。
记录参与人姓名不是走形式。Fellow 指出,日后有人否认自己参与过讨论时,这份名单就派上用场了。
检查: 每项状态为“未关闭”的风险都必须指向一项决策或缓解计划。每项决策的审批人必须是具体某个人,而不是“全体团队”。
第 6 步:让日志保持更新
Process Street 建议定期更新 RAID 日志,但没有给出具体频率。最持久的做法是挂靠已有的节奏,比如每周客户例会的最后十分钟,过一遍未关闭的条目和临近截止的假设。一份从不在会上提起的日志,一个月内就会沦为摆设。
让日志失去作用的错误
第一个错误是负责人和审批人两列都填 FDE 的名字。这样做等于替客户扛下本属于客户的风险。第二个错误是把 OWASP 清单整份照搬进日志,看起来很完整,却没人知道该采取什么行动。
另外两个错误方向相反。有的团队把每次对话都记成决策,最后真正的决策被淹没在笔记里。有的团队把日志放在个人电脑上,客户从未见过。事故发生时,谁也没法说客户接受了一项他们从没读过的风险。
这项技能在 FDE 工作中的用武之地
在客户现场,第一周就建好 RAID 日志,并和客户的项目发起人一起过一遍。当着有决策权的人逐条读出假设,能尽早发现双方理解不一致的地方。等客户提议给 Agent 更多权限时,你已经有地方记录谁同意了、为什么同意。
看岗位描述时,如果 stakeholder management、risk 或 governance 这类词和部署一同出现,就为面试准备一份日志样例。简历上不要只写“风险管理”。
要写具体,例如:为一次 RAG 部署建立 RAID 日志和决策日志,将每项 LLM 风险对应到客户方的审批人。面试时,准备好一个故事:你记录过的一项决策,以及它带来了什么结果。
模型会被替换,提示词会被重写。有人问起为什么允许 Agent 这么做时,真正管用的还是那一行“审批人:客服总监”。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- RAID (Risks, Assumptions, Issues, and Dependencies) Project Management Template | Process Street
- Decision Log: What it is, And When to Use It (With Examples) | Fellow.app · 2026-10-08
- Architectural Decision Records (ADRs) | Architectural Decision Records
- AI Risk Management Framework | NIST · 2023-01-26
- Govern - AIRC (NIST AI RMF Playbook)
- LLMRisks Archive - OWASP Gen AI Security Project