FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

LLM 应用可用性 99.9%,答案照样会错

只要把“好事件”定义为正确答案,SRE 的错误预算算法同样适用于答案质量。

分享微博

要点速览

  • 可用性只说明系统有没有回答;语义 SLI 衡量的是它到底说了什么。
  • 质量 SLI = 评审模型判为 Pass 的答案数 ÷ 全部已评审答案数;错误预算 = 100% 减去 SLO。
  • 按多个窗口的燃烧率告警,同时每周仍要读 10-20 条 trace,抓住机器还不知道该查的故障。
横向条形图:质量 SLO 为 95%、周期为 30 天时,1 小时窗口的“立即呼叫”告警要到 72% 的回答出错才会触发;6 小时窗口的呼叫告警在 30% 出错时触发;3 天窗口在 5% 出错时创建工单。
SLO 为 95% 时,快速告警只能发现灾难性故障,大多数质量下滑要到 6 小时或 3 天窗口才会暴露。来源:Google《SRE Workbook》建议的多窗口、多燃烧率阈值,按 30 天周期换算。

客户的仪表盘整月都是绿色。可用性 99.9%,p95 延迟在阈值内,HTTP 错误率接近零。可周一早上,客服负责人发来三张截图:AI 助手的三个回答,引用的合同条款全都错了。

系统没有宕机。它回答得完整、迅速,格式也对,只是内容错了,而且没有触发任何一条告警。

这里需要的能力,是把 SRE 的服务等级目标(SLO)方法迁移到答案质量上。算法完全相同,唯一的区别在于如何定义“好事件”。

可用性衡量错了对象

Google 的 SRE Workbook 把服务等级指标(SLI)定义为好事件数除以总事件数。对 Web 服务来说,好事件通常是在延迟阈值内成功返回的请求。但这个定义并没有要求好事件必须是纯技术层面的。

Tian Pan 在一篇讨论非确定性系统 SLO 的文章中,把缺失的这类指标称为语义 SLI:衡量系统说了什么,而不是说得多快。对上面的合同助手来说,“好事件”可以是这样一个回答:其中每一条陈述都能在检索到的文档里找到依据。

有了这个比例,SRE 的所有工具就都能直接套用。按照 Google 的说法,错误预算等于 100% 减去 SLO。燃烧率(burn rate)则是服务消耗错误预算的速度,与 SLO 允许的速度相比。

从真实故障出发,而不是从打分量表出发

第一个错误,是打开评测工具就直接选一个现成指标,比如“有用性”或“质量分”。Hamel Husain 和 Shreya Shankar 认为,错误分析是评测中最重要的工作。在决定度量什么之前,必须先读真实的 trace,记下系统出错的方式。

假设读完合同助手的 100 条 trace,可能会发现几类故障:引用了错误的条款编号;在没有相关文档时仍然作答;语气过于生硬。第一类会真正伤害客户,第三类不会。第一个 SLI 应该针对第一类。

接下来是度量。Husain 和 Shankar 建议把 LLM 评审模型当作分类器使用,针对唯一一种故障返回 Pass 或 Fail,而不是让它给出笼统的分数。给评审模型的问题要非常窄:“答案中的每个条款编号,是否都出现在检索到的文档里?”

先别急着信任评审模型。两位作者都强调,必须用人工标注的样例来检验它,而且样例要针对它要捕捉的那种具体故障。如果人工标出的错误答案有一半被评审模型漏掉,SLI 就会显得虚假地健康,告警恰恰会在该响的时候保持沉默。

一次完整计算:30 天周期、95% SLO

Tian Pan 建议在设定任何目标之前,先用有代表性的流量样本测量当前表现。假设用验证过的评审模型跑了两周流量,发现大约 96-97% 的答案通过。把 SLO 定在 95% 是合理的:留有余量,又不会掩盖真实的下滑。

此时错误预算为 5%:30 天内,已评审答案中最多允许 5% 不通过。燃烧率为 1,意味着失败率恰好是 5%,预算正好在周期结束时用完。燃烧率为 2,意味着失败率为 10%,预算 15 天就会耗尽。

Google 推荐多窗口、多燃烧率告警,认为这是保护 SLO 最合适的方式。它建议的初始阈值是:1 小时内消耗 2% 预算或 6 小时内消耗 5% 预算时呼叫值班(page),3 天内消耗 10% 时开工单。换算到 30 天周期(720 小时)和 95% SLO,得到下表。

窗口 消耗预算 燃烧率 对应失败率 动作
1 小时 2% 14.4 72% 立即呼叫值班
6 小时 5% 6 30% 呼叫值班
3 天 10% 1 5% 开工单

这张表揭示了一个很少有人注意的事实。在 95% 的质量 SLO 下,快速告警只有在一小时内近四分之三的答案失败时才会触发,对应的是灾难性故障,比如提示词被覆盖、检索索引为空。大多数质量下滑会出现在 6 小时或 3 天窗口里,所以不要省掉工单这一级。

第一周够用的代码

起步不需要昂贵的可观测性平台。下面这段 Python 代码接收每个窗口内的 Pass 数和已评审总数,判断是否需要告警。

SLO = 0.95
BUDGET = 1 - SLO  # 5%

# (动作,窗口,燃烧率阈值),对应 30 天周期
# 简化版本:每条规则只看一个长窗口
RULES = [
    ("page", "1h", 14.4),
    ("page", "6h", 6.0),
    ("ticket", "3d", 1.0),
]

def burn_rate(passes: int, total: int) -> float:
    if total == 0:
        return 0.0
    error_rate = 1 - passes / total
    return error_rate / BUDGET

def evaluate(counts: dict[str, tuple[int, int]]) -> list[str]:
    alerts = []
    for action, window, threshold in RULES:
        passes, total = counts[window]
        rate = burn_rate(passes, total)
        if rate >= threshold:
            alerts.append(f"{action}:{window} 内燃烧率 {rate:.1f}")
    return alerts

# 示例:1 小时内评审 50 个答案,40 个通过 -> 失败 20%,燃烧率 4
print(evaluate({"1h": (40, 50), "6h": (250, 300), "3d": (3300, 3500)}))

示例中,最近一小时失败率为 20%,不足以呼叫值班。6 小时窗口失败率约 16.7%,燃烧率约 3.3,同样不够。但 3 天窗口失败率约 5.7%,燃烧率约 1.1,于是代码开了一张工单:质量正在缓慢漂移,这正是可用性指标永远看不到的故障。

由于这段代码只看长窗口,事故结束后告警可能还会持续触发一段时间,因为窗口里仍包含之前的失败。在用于生产环境之前,请仔细阅读 SRE Workbook 的告警章节,实现完整的“多窗口”逻辑,不要停留在这个精简版本上。

一个实际问题:为了节省成本,评审模型通常只对部分流量采样运行。每小时 50 个答案时,几个随机失败就能让失败率大幅跳动,因此信号要在较长的窗口里才稳定。

数值波动时,不要画一条固定的线

评审分数会随时段、问题类型和用户量变化。Tian Pan 建议增加一类告警:当均值偏离滚动窗口超过两个标准差时触发,而不是在越过某条随意划定的线时触发。

这样能捕捉到让质量下降一档的模型或提示词变更,即使质量仍在 SLO 之上。

但任何指标都抓不住还没人定义过的故障。Husain 和 Shankar 建议每周阅读 10-20 条生产环境 trace,重点看不寻常的案例。下一个 SLI 就从这里产生:当一种新故障反复出现时,就值得为它单独配一个评审模型。

客户项目中的常见错误

最常见的错误,是在没有任何测量之前凭感觉定目标,比如“质量必须达到 99%”。结果预算第一天就耗尽,告警响个不停,运维团队干脆把它们关掉。先测基线,再和客户商定数字。

第二个错误,是用一个按 1 到 10 给“整体质量”打分的评审模型。7 分不能告诉任何人该修什么,也无法干净地用人工标注来验证。针对单一具体故障的 Pass/Fail 评审模型,验证起来更容易,据此行动也更容易。

第三个错误,是把质量 SLO 当成一次性工作。每当模型、提示词或数据发生变化,评审模型都必须重新验证;每周的 trace 审阅也要在移交的运维排班中指定专人负责。

这项能力在职业发展中的位置

阅读前线部署工程师(FDE)的招聘信息时,留意“evals”“production monitoring”“reliability of AI systems”这类说法。如果它们同时出现,这个岗位很可能需要能把评测和运维连接起来的人,而这正是这套流程训练的能力。

在简历上,一句具体的描述比一串工具名更有分量:为一个 RAG 助手定义了质量 SLI,用人工标注验证了评审模型,并设置了多窗口燃烧率告警。如果还没有真实项目,就在自己的小应用上完整搭一遍这套流程,并把数字记录下来。

下次客户问“系统还好吗?”,你会有两个答案而不是一个:它是否在运行,以及它说的内容是否正确。决定合同能否续签的,是第二个。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量该先做的 AI 场景,往往不是价值最高的那个给十个想法按价值和可行性打分,再和掌握预算的人书面约定一个成功指标。