FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

FDE 为何该用一个 Grafana 看板,而非 48 份副本

一个站点变量让 7 号与 1 号站点的面板口径一致,客户追问为何变慢时有据可查;告警只在用户真正受影响时触发。

分享微博

要点速览

  • 一个带 site 变量的看板可以替代几十份副本,避免看板无序膨胀
  • RED(请求速率、错误、耗时)反映用户体验,USE 则检查 CPU、内存和网络
  • 按症状告警,按站点给告警打标签,再用通知策略路由,只在真正重要时呼叫值班人员
前后对比图。左侧是 12 列 4 行、共 48 个灰色格子,代表为 12 个站点手工复制的 48 个看板。右侧是一个站点变量选择器下方的 4 根蓝色条(服务、基础设施、队列、总览),代表所有站点共用的 4 个看板。
12 个站点、每个站点 4 个看板,手工复制会产生 48 个版本。用站点变量可以减到 4 个,改一处查询,12 个站点同时生效。来源:文中示例,依据 Grafana 看板文档。

假设你刚把系统部署到同一个客户的 12 个站点。每个站点需要 4 个看板:服务、基础设施、队列和总览。手工复制的话就是 48 个看板。每次修改查询,几乎肯定会漏掉几份副本。

这时前线部署工程师(FDE)会想到 Grafana。吸引人的不是图表,而是 Grafana 能满足多站点部署的两项需求:一个视图看清所有站点的健康状况,以及一套能在合适的时间通知合适的人的告警系统。

一个看板,12 个站点

Grafana 文档对做法说得很明确:只建一个看板,再用变量切换要查看的对象。变量定义一次,就能在整个看板里复用,所以顶部放一个 site 选择器,就能切换所有面板。

Grafana 自己的最佳实践指南建议用模板和变量复用看板、保持一致。同一份指南也提醒要警惕看板无序膨胀(dashboard sprawl),即看板数量失控地增长。

对 FDE 来说,看板膨胀不只是杂乱。客户问站点 7 为什么慢时,你必须确定站点 7 的面板和站点 1 的面板测的是完全相同的东西。

看一个最小示例。假设服务导出一个名为 http_requests_total 的 Prometheus 指标,带有 site 和 status 两个标签。site 变量从这个标签获取取值列表:

label_values(http_requests_total, site)

错误率面板随后使用这个变量,而不是写死站点名:

sum(rate(http_requests_total{site="$site", status=~"5.."}[5m]))
/
sum(rate(http_requests_total{site="$site"}[5m]))

在这个例子里,48 份副本缩减为 4 个看板,每个都带 site 变量。改一次查询,12 个站点同时修好。因此到客户现场的第一件事,是从部署第一天起就约定指标里站点标签的名称,因为只有数据标签一致,变量才能起作用。

先放哪些面板?

Grafana 建议服务层使用 RED 看板:Rate(请求速率)、Errors(错误)、Duration(耗时)。这一方法由 Grafana Labs 的 Tom Wilkie 在 2018 年的一篇文章中提出,其中 Rate 指每秒请求数。Grafana 文档称,设计良好的 RED 看板可以作为用户体验的代理指标。

但客户站点底下还有真实的服务器。按照 Grafana 的说法,USE 方法最适合 CPU、内存和网络设备这类硬件资源。所以一个好的站点看板通常分两层:上层用 RED 看用户正在经历什么,下层用 USE 查原因。

如果想要一份检查清单,Google 的 SRE 书列出了四个黄金信号:延迟、流量、错误和饱和度。前三个对应 RED,最后一个接近 USE。每个站点的第一行面板应当回答这四个问题。

告警:按症状呼叫,而非按原因

在 Grafana Alerting 中,告警规则是一组决定告警何时触发的条件。难点不在语法,而在选条件。Prometheus 的指导建议按症状而非原因告警,以减少噪音。

以站点 7 为例。“CPU 超过 90%”是基于原因的告警:CPU 很高时,用户可能一切正常。“该站点错误率持续几分钟高于阈值”则是症状:只有用户真正受影响时才会触发。

把它写成告警规则查询时,不用看板变量,而是按标签聚合,这样一条规则就能同时监控所有站点。下面的 5% 阈值只是示例,具体数值要和客户商定:

sum by (customer, site) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (customer, site) (rate(http_requests_total[5m]))
> 0.05

CPU 留在看板上用于诊断,但别让它半夜把人叫醒。Google 的 SRE 书指出,呼叫一个人是对其时间代价高昂的占用。对同时负责多个客户的 FDE 来说,每晚一条无意义的告警,是让整个团队对真正告警视而不见的最快方式。

按客户标签路由

告警本身正确之后,还要送到对的人手里。Grafana 把通知策略称为完整告警系统的支柱:策略根据告警的标签进行路由和分组。

上面的规则已经带有 customer 和 site 标签,因此可以把客户 A 的告警发到负责客户 A 的团队频道。当某个客户整体遇到共同的事故时,12 条同时触发的告警可以合并成一条通知。

所以在客户现场的工作顺序很清楚:先约定标签,再搭建带变量的看板,写几条症状规则,最后才配置路由策略。顺序反过来,标签一变就得重写规则。

客户现场的常见错误

最常见的错误是“为了省时间”给每个站点复制一份看板,几个月后没人知道哪份是对的。这正是 Grafana 提醒的看板膨胀,解决办法是回到一个带变量的看板。

第二个错误是标签随意。同一个站点在一处叫 hcm-01,在另一处叫 HCM1,在选择器里就成了两个站点,按 site 聚合的规则也会一分为二。第三个错误是让所有告警都呼叫值班人员,包括 CPU 或磁盘警告,而不是只在出现症状时才呼叫。

也要记住这个工具的边界:Grafana 只能展示系统已经测量的数据,并据此告警。如果服务还没导出请求速率、错误和延迟的指标,什么看板都救不了你。

先学什么,简历上写什么

如果正在准备 FDE 岗位,建议按这个顺序学:先学 RED 和 USE,再学看板变量,然后是告警规则和通知策略。面试时可以直接问:客户站点由谁值班、告警如何路由?答案能说明这项技能在岗位中的分量。

简历上不要写“熟悉 Grafana”。要写你用变量把多少个看板合并成了一个,或者改用症状告警后如何减少了值班呼叫次数。

练习:一个站点分裂成两个

假设 site 选择器里同时出现 hcm-01 和 HCM1,错误率规则为同一个地点触发了两条独立的告警。第一步,运行 count by (site) (http_requests_total),查看现存的所有标签值。

第二步,找到设置该标签的位置,通常是该站点 exporter 或指标采集 Agent 的配置,把它改成约定规范中的唯一名称。在源头修复比逐个修补查询更好,因为所有看板和规则读取的都是同一个标签。

第三步,等旧数据超出查询的时间范围,重新打开选择器,确认只剩 hcm-01,然后发一条测试告警,确保通知策略仍能把它送到正确的频道。做过一次,下次部署时你就不会再放任站点标签无人管理。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 5: 部署上线从 Git 删掉的资源,Argo CD 默认不会删默认先标记漂移、再按授权修复,正适合在多个客户集群间工作的前线部署工程师(FDE)。