LLM 应用可用性 99.9%,答案照样会错
只要把“好事件”定义为正确答案,SRE 的错误预算算法同样适用于答案质量。
要点速览
- 可用性只说明系统有没有回答;语义 SLI 衡量的是它到底说了什么。
- 质量 SLI = 评审模型判为 Pass 的答案数 ÷ 全部已评审答案数;错误预算 = 100% 减去 SLO。
- 按多个窗口的燃烧率告警,同时每周仍要读 10-20 条 trace,抓住机器还不知道该查的故障。
客户的仪表盘整月都是绿色。可用性 99.9%,p95 延迟在阈值内,HTTP 错误率接近零。可周一早上,客服负责人发来三张截图:AI 助手的三个回答,引用的合同条款全都错了。
系统没有宕机。它回答得完整、迅速,格式也对,只是内容错了,而且没有触发任何一条告警。
这里需要的能力,是把 SRE 的服务等级目标(SLO)方法迁移到答案质量上。算法完全相同,唯一的区别在于如何定义“好事件”。
可用性衡量错了对象
Google 的 SRE Workbook 把服务等级指标(SLI)定义为好事件数除以总事件数。对 Web 服务来说,好事件通常是在延迟阈值内成功返回的请求。但这个定义并没有要求好事件必须是纯技术层面的。
Tian Pan 在一篇讨论非确定性系统 SLO 的文章中,把缺失的这类指标称为语义 SLI:衡量系统说了什么,而不是说得多快。对上面的合同助手来说,“好事件”可以是这样一个回答:其中每一条陈述都能在检索到的文档里找到依据。
有了这个比例,SRE 的所有工具就都能直接套用。按照 Google 的说法,错误预算等于 100% 减去 SLO。燃烧率(burn rate)则是服务消耗错误预算的速度,与 SLO 允许的速度相比。
从真实故障出发,而不是从打分量表出发
第一个错误,是打开评测工具就直接选一个现成指标,比如“有用性”或“质量分”。Hamel Husain 和 Shreya Shankar 认为,错误分析是评测中最重要的工作。在决定度量什么之前,必须先读真实的 trace,记下系统出错的方式。
假设读完合同助手的 100 条 trace,可能会发现几类故障:引用了错误的条款编号;在没有相关文档时仍然作答;语气过于生硬。第一类会真正伤害客户,第三类不会。第一个 SLI 应该针对第一类。
接下来是度量。Husain 和 Shankar 建议把 LLM 评审模型当作分类器使用,针对唯一一种故障返回 Pass 或 Fail,而不是让它给出笼统的分数。给评审模型的问题要非常窄:“答案中的每个条款编号,是否都出现在检索到的文档里?”
先别急着信任评审模型。两位作者都强调,必须用人工标注的样例来检验它,而且样例要针对它要捕捉的那种具体故障。如果人工标出的错误答案有一半被评审模型漏掉,SLI 就会显得虚假地健康,告警恰恰会在该响的时候保持沉默。
一次完整计算:30 天周期、95% SLO
Tian Pan 建议在设定任何目标之前,先用有代表性的流量样本测量当前表现。假设用验证过的评审模型跑了两周流量,发现大约 96-97% 的答案通过。把 SLO 定在 95% 是合理的:留有余量,又不会掩盖真实的下滑。
此时错误预算为 5%:30 天内,已评审答案中最多允许 5% 不通过。燃烧率为 1,意味着失败率恰好是 5%,预算正好在周期结束时用完。燃烧率为 2,意味着失败率为 10%,预算 15 天就会耗尽。
Google 推荐多窗口、多燃烧率告警,认为这是保护 SLO 最合适的方式。它建议的初始阈值是:1 小时内消耗 2% 预算或 6 小时内消耗 5% 预算时呼叫值班(page),3 天内消耗 10% 时开工单。换算到 30 天周期(720 小时)和 95% SLO,得到下表。
| 窗口 | 消耗预算 | 燃烧率 | 对应失败率 | 动作 |
|---|---|---|---|---|
| 1 小时 | 2% | 14.4 | 72% | 立即呼叫值班 |
| 6 小时 | 5% | 6 | 30% | 呼叫值班 |
| 3 天 | 10% | 1 | 5% | 开工单 |
这张表揭示了一个很少有人注意的事实。在 95% 的质量 SLO 下,快速告警只有在一小时内近四分之三的答案失败时才会触发,对应的是灾难性故障,比如提示词被覆盖、检索索引为空。大多数质量下滑会出现在 6 小时或 3 天窗口里,所以不要省掉工单这一级。
第一周够用的代码
起步不需要昂贵的可观测性平台。下面这段 Python 代码接收每个窗口内的 Pass 数和已评审总数,判断是否需要告警。
SLO = 0.95
BUDGET = 1 - SLO # 5%
# (动作,窗口,燃烧率阈值),对应 30 天周期
# 简化版本:每条规则只看一个长窗口
RULES = [
("page", "1h", 14.4),
("page", "6h", 6.0),
("ticket", "3d", 1.0),
]
def burn_rate(passes: int, total: int) -> float:
if total == 0:
return 0.0
error_rate = 1 - passes / total
return error_rate / BUDGET
def evaluate(counts: dict[str, tuple[int, int]]) -> list[str]:
alerts = []
for action, window, threshold in RULES:
passes, total = counts[window]
rate = burn_rate(passes, total)
if rate >= threshold:
alerts.append(f"{action}:{window} 内燃烧率 {rate:.1f}")
return alerts
# 示例:1 小时内评审 50 个答案,40 个通过 -> 失败 20%,燃烧率 4
print(evaluate({"1h": (40, 50), "6h": (250, 300), "3d": (3300, 3500)}))
示例中,最近一小时失败率为 20%,不足以呼叫值班。6 小时窗口失败率约 16.7%,燃烧率约 3.3,同样不够。但 3 天窗口失败率约 5.7%,燃烧率约 1.1,于是代码开了一张工单:质量正在缓慢漂移,这正是可用性指标永远看不到的故障。
由于这段代码只看长窗口,事故结束后告警可能还会持续触发一段时间,因为窗口里仍包含之前的失败。在用于生产环境之前,请仔细阅读 SRE Workbook 的告警章节,实现完整的“多窗口”逻辑,不要停留在这个精简版本上。
一个实际问题:为了节省成本,评审模型通常只对部分流量采样运行。每小时 50 个答案时,几个随机失败就能让失败率大幅跳动,因此信号要在较长的窗口里才稳定。
数值波动时,不要画一条固定的线
评审分数会随时段、问题类型和用户量变化。Tian Pan 建议增加一类告警:当均值偏离滚动窗口超过两个标准差时触发,而不是在越过某条随意划定的线时触发。
这样能捕捉到让质量下降一档的模型或提示词变更,即使质量仍在 SLO 之上。
但任何指标都抓不住还没人定义过的故障。Husain 和 Shankar 建议每周阅读 10-20 条生产环境 trace,重点看不寻常的案例。下一个 SLI 就从这里产生:当一种新故障反复出现时,就值得为它单独配一个评审模型。
客户项目中的常见错误
最常见的错误,是在没有任何测量之前凭感觉定目标,比如“质量必须达到 99%”。结果预算第一天就耗尽,告警响个不停,运维团队干脆把它们关掉。先测基线,再和客户商定数字。
第二个错误,是用一个按 1 到 10 给“整体质量”打分的评审模型。7 分不能告诉任何人该修什么,也无法干净地用人工标注来验证。针对单一具体故障的 Pass/Fail 评审模型,验证起来更容易,据此行动也更容易。
第三个错误,是把质量 SLO 当成一次性工作。每当模型、提示词或数据发生变化,评审模型都必须重新验证;每周的 trace 审阅也要在移交的运维排班中指定专人负责。
这项能力在职业发展中的位置
阅读前线部署工程师(FDE)的招聘信息时,留意“evals”“production monitoring”“reliability of AI systems”这类说法。如果它们同时出现,这个岗位很可能需要能把评测和运维连接起来的人,而这正是这套流程训练的能力。
在简历上,一句具体的描述比一串工具名更有分量:为一个 RAG 助手定义了质量 SLI,用人工标注验证了评审模型,并设置了多窗口燃烧率告警。如果还没有真实项目,就在自己的小应用上完整搭一遍这套流程,并把数字记录下来。
下次客户问“系统还好吗?”,你会有两个答案而不是一个:它是否在运行,以及它说的内容是否正确。决定合同能否续签的,是第二个。
这篇文章对你有帮助吗?
感谢你的反馈!