FDE 为何该用一个 Grafana 看板,而非 48 份副本
一个站点变量让 7 号与 1 号站点的面板口径一致,客户追问为何变慢时有据可查;告警只在用户真正受影响时触发。
要点速览
- 一个带 site 变量的看板可以替代几十份副本,避免看板无序膨胀
- RED(请求速率、错误、耗时)反映用户体验,USE 则检查 CPU、内存和网络
- 按症状告警,按站点给告警打标签,再用通知策略路由,只在真正重要时呼叫值班人员
假设你刚把系统部署到同一个客户的 12 个站点。每个站点需要 4 个看板:服务、基础设施、队列和总览。手工复制的话就是 48 个看板。每次修改查询,几乎肯定会漏掉几份副本。
这时前线部署工程师(FDE)会想到 Grafana。吸引人的不是图表,而是 Grafana 能满足多站点部署的两项需求:一个视图看清所有站点的健康状况,以及一套能在合适的时间通知合适的人的告警系统。
一个看板,12 个站点
Grafana 文档对做法说得很明确:只建一个看板,再用变量切换要查看的对象。变量定义一次,就能在整个看板里复用,所以顶部放一个 site 选择器,就能切换所有面板。
Grafana 自己的最佳实践指南建议用模板和变量复用看板、保持一致。同一份指南也提醒要警惕看板无序膨胀(dashboard sprawl),即看板数量失控地增长。
对 FDE 来说,看板膨胀不只是杂乱。客户问站点 7 为什么慢时,你必须确定站点 7 的面板和站点 1 的面板测的是完全相同的东西。
看一个最小示例。假设服务导出一个名为 http_requests_total 的 Prometheus 指标,带有 site 和 status 两个标签。site 变量从这个标签获取取值列表:
label_values(http_requests_total, site)
错误率面板随后使用这个变量,而不是写死站点名:
sum(rate(http_requests_total{site="$site", status=~"5.."}[5m]))
/
sum(rate(http_requests_total{site="$site"}[5m]))
在这个例子里,48 份副本缩减为 4 个看板,每个都带 site 变量。改一次查询,12 个站点同时修好。因此到客户现场的第一件事,是从部署第一天起就约定指标里站点标签的名称,因为只有数据标签一致,变量才能起作用。
先放哪些面板?
Grafana 建议服务层使用 RED 看板:Rate(请求速率)、Errors(错误)、Duration(耗时)。这一方法由 Grafana Labs 的 Tom Wilkie 在 2018 年的一篇文章中提出,其中 Rate 指每秒请求数。Grafana 文档称,设计良好的 RED 看板可以作为用户体验的代理指标。
但客户站点底下还有真实的服务器。按照 Grafana 的说法,USE 方法最适合 CPU、内存和网络设备这类硬件资源。所以一个好的站点看板通常分两层:上层用 RED 看用户正在经历什么,下层用 USE 查原因。
如果想要一份检查清单,Google 的 SRE 书列出了四个黄金信号:延迟、流量、错误和饱和度。前三个对应 RED,最后一个接近 USE。每个站点的第一行面板应当回答这四个问题。
告警:按症状呼叫,而非按原因
在 Grafana Alerting 中,告警规则是一组决定告警何时触发的条件。难点不在语法,而在选条件。Prometheus 的指导建议按症状而非原因告警,以减少噪音。
以站点 7 为例。“CPU 超过 90%”是基于原因的告警:CPU 很高时,用户可能一切正常。“该站点错误率持续几分钟高于阈值”则是症状:只有用户真正受影响时才会触发。
把它写成告警规则查询时,不用看板变量,而是按标签聚合,这样一条规则就能同时监控所有站点。下面的 5% 阈值只是示例,具体数值要和客户商定:
sum by (customer, site) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (customer, site) (rate(http_requests_total[5m]))
> 0.05
CPU 留在看板上用于诊断,但别让它半夜把人叫醒。Google 的 SRE 书指出,呼叫一个人是对其时间代价高昂的占用。对同时负责多个客户的 FDE 来说,每晚一条无意义的告警,是让整个团队对真正告警视而不见的最快方式。
按客户标签路由
告警本身正确之后,还要送到对的人手里。Grafana 把通知策略称为完整告警系统的支柱:策略根据告警的标签进行路由和分组。
上面的规则已经带有 customer 和 site 标签,因此可以把客户 A 的告警发到负责客户 A 的团队频道。当某个客户整体遇到共同的事故时,12 条同时触发的告警可以合并成一条通知。
所以在客户现场的工作顺序很清楚:先约定标签,再搭建带变量的看板,写几条症状规则,最后才配置路由策略。顺序反过来,标签一变就得重写规则。
客户现场的常见错误
最常见的错误是“为了省时间”给每个站点复制一份看板,几个月后没人知道哪份是对的。这正是 Grafana 提醒的看板膨胀,解决办法是回到一个带变量的看板。
第二个错误是标签随意。同一个站点在一处叫 hcm-01,在另一处叫 HCM1,在选择器里就成了两个站点,按 site 聚合的规则也会一分为二。第三个错误是让所有告警都呼叫值班人员,包括 CPU 或磁盘警告,而不是只在出现症状时才呼叫。
也要记住这个工具的边界:Grafana 只能展示系统已经测量的数据,并据此告警。如果服务还没导出请求速率、错误和延迟的指标,什么看板都救不了你。
先学什么,简历上写什么
如果正在准备 FDE 岗位,建议按这个顺序学:先学 RED 和 USE,再学看板变量,然后是告警规则和通知策略。面试时可以直接问:客户站点由谁值班、告警如何路由?答案能说明这项技能在岗位中的分量。
简历上不要写“熟悉 Grafana”。要写你用变量把多少个看板合并成了一个,或者改用症状告警后如何减少了值班呼叫次数。
练习:一个站点分裂成两个
假设 site 选择器里同时出现 hcm-01 和 HCM1,错误率规则为同一个地点触发了两条独立的告警。第一步,运行 count by (site) (http_requests_total),查看现存的所有标签值。
第二步,找到设置该标签的位置,通常是该站点 exporter 或指标采集 Agent 的配置,把它改成约定规范中的唯一名称。在源头修复比逐个修补查询更好,因为所有看板和规则读取的都是同一个标签。
第三步,等旧数据超出查询的时间范围,重新打开选择器,确认只剩 hcm-01,然后发一条测试告警,确保通知策略仍能把它送到正确的频道。做过一次,下次部署时你就不会再放任站点标签无人管理。
这篇文章对你有帮助吗?
感谢你的反馈!
8 个信源
- Grafana Alerting | Grafana documentation
- Variables | Grafana documentation
- Grafana dashboard best practices | Grafana documentation
- Alert rules | Grafana documentation
- Notifications | Grafana documentation
- The RED Method: How to Instrument Your Services | Grafana Labs · 2018-08-03
- Monitoring Distributed Systems (Google SRE book)
- Alerting | Prometheus