# FDE 为何该用一个 Grafana 看板，而非 48 份副本

> 一个站点变量让 7 号与 1 号站点的面板口径一致，客户追问为何变慢时有据可查；告警只在用户真正受影响时触发。

原文: https://fdetimes.net/zh/tools/grafana-multi-site-dashboards-alerting/

假设你刚把系统部署到同一个客户的 12 个站点。每个站点需要 4 个看板：服务、基础设施、队列和总览。手工复制的话就是 48 个看板。每次修改查询，几乎肯定会漏掉几份副本。

这时前线部署工程师（FDE）会想到 Grafana。吸引人的不是图表，而是 Grafana 能满足多站点部署的两项需求：一个视图看清所有站点的健康状况，以及一套能在合适的时间通知合适的人的告警系统。

## 一个看板，12 个站点

Grafana 文档对做法说得很明确：只建一个看板，再用变量切换要查看的对象。变量定义一次，就能在整个看板里复用，所以顶部放一个 `site` 选择器，就能切换所有面板。

Grafana 自己的最佳实践指南建议用模板和变量复用看板、保持一致。同一份指南也提醒要警惕看板无序膨胀（dashboard sprawl），即看板数量失控地增长。

对 FDE 来说，看板膨胀不只是杂乱。客户问站点 7 为什么慢时，你必须确定站点 7 的面板和站点 1 的面板测的是完全相同的东西。

看一个最小示例。假设服务导出一个名为 `http_requests_total` 的 Prometheus 指标，带有 `site` 和 `status` 两个标签。`site` 变量从这个标签获取取值列表：

```
label_values(http_requests_total, site)
```

错误率面板随后使用这个变量，而不是写死站点名：

```
sum(rate(http_requests_total{site="$site", status=~"5.."}[5m]))
/
sum(rate(http_requests_total{site="$site"}[5m]))
```

在这个例子里，48 份副本缩减为 4 个看板，每个都带 `site` 变量。改一次查询，12 个站点同时修好。因此到客户现场的第一件事，是从部署第一天起就约定指标里站点标签的名称，因为只有数据标签一致，变量才能起作用。

## 先放哪些面板？

Grafana 建议服务层使用 RED 看板：Rate（请求速率）、Errors（错误）、Duration（耗时）。这一方法由 Grafana Labs 的 Tom Wilkie 在 2018 年的一篇文章中提出，其中 Rate 指每秒请求数。Grafana 文档称，设计良好的 RED 看板可以作为用户体验的代理指标。

但客户站点底下还有真实的服务器。按照 Grafana 的说法，USE 方法最适合 CPU、内存和网络设备这类硬件资源。所以一个好的站点看板通常分两层：上层用 RED 看用户正在经历什么，下层用 USE 查原因。

如果想要一份检查清单，Google 的 SRE 书列出了四个黄金信号：延迟、流量、错误和饱和度。前三个对应 RED，最后一个接近 USE。每个站点的第一行面板应当回答这四个问题。

## 告警：按症状呼叫，而非按原因

在 Grafana Alerting 中，告警规则是一组决定告警何时触发的条件。难点不在语法，而在选条件。Prometheus 的指导建议按症状而非原因告警，以减少噪音。

以站点 7 为例。“CPU 超过 90%”是基于原因的告警：CPU 很高时，用户可能一切正常。“该站点错误率持续几分钟高于阈值”则是症状：只有用户真正受影响时才会触发。

把它写成告警规则查询时，不用看板变量，而是按标签聚合，这样一条规则就能同时监控所有站点。下面的 5% 阈值只是示例，具体数值要和客户商定：

```
sum by (customer, site) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (customer, site) (rate(http_requests_total[5m]))
> 0.05
```

CPU 留在看板上用于诊断，但别让它半夜把人叫醒。Google 的 SRE 书指出，呼叫一个人是对其时间代价高昂的占用。对同时负责多个客户的 FDE 来说，每晚一条无意义的告警，是让整个团队对真正告警视而不见的最快方式。

**要点:** 对用户能感受到的问题告警，原因留给看板去查。

## 按客户标签路由

告警本身正确之后，还要送到对的人手里。Grafana 把通知策略称为完整告警系统的支柱：策略根据告警的标签进行路由和分组。

上面的规则已经带有 `customer` 和 `site` 标签，因此可以把客户 A 的告警发到负责客户 A 的团队频道。当某个客户整体遇到共同的事故时，12 条同时触发的告警可以合并成一条通知。

所以在客户现场的工作顺序很清楚：先约定标签，再搭建带变量的看板，写几条症状规则，最后才配置路由策略。顺序反过来，标签一变就得重写规则。

## 客户现场的常见错误

最常见的错误是“为了省时间”给每个站点复制一份看板，几个月后没人知道哪份是对的。这正是 Grafana 提醒的看板膨胀，解决办法是回到一个带变量的看板。

第二个错误是标签随意。同一个站点在一处叫 `hcm-01`，在另一处叫 `HCM1`，在选择器里就成了两个站点，按 `site` 聚合的规则也会一分为二。第三个错误是让所有告警都呼叫值班人员，包括 CPU 或磁盘警告，而不是只在出现症状时才呼叫。

也要记住这个工具的边界：Grafana 只能展示系统已经测量的数据，并据此告警。如果服务还没导出请求速率、错误和延迟的指标，什么看板都救不了你。

## 先学什么，简历上写什么

如果正在准备 FDE 岗位，建议按这个顺序学：先学 RED 和 USE，再学看板变量，然后是告警规则和通知策略。面试时可以直接问：客户站点由谁值班、告警如何路由？答案能说明这项技能在岗位中的分量。

简历上不要写“熟悉 Grafana”。要写你用变量把多少个看板合并成了一个，或者改用症状告警后如何减少了值班呼叫次数。

## 练习：一个站点分裂成两个

假设 `site` 选择器里同时出现 `hcm-01` 和 `HCM1`，错误率规则为同一个地点触发了两条独立的告警。第一步，运行 `count by (site) (http_requests_total)`，查看现存的所有标签值。

第二步，找到设置该标签的位置，通常是该站点 exporter 或指标采集 Agent 的配置，把它改成约定规范中的唯一名称。在源头修复比逐个修补查询更好，因为所有看板和规则读取的都是同一个标签。

第三步，等旧数据超出查询的时间范围，重新打开选择器，确认只剩 `hcm-01`，然后发一条测试告警，确保通知策略仍能把它送到正确的频道。做过一次，下次部署时你就不会再放任站点标签无人管理。

**本周动手试试:**

- 打开一个现有看板，添加站点变量，并把查询中所有写死的值替换为该变量
- 列出当前会呼叫值班人员的告警，标出哪些测的是原因（CPU、磁盘），哪些测的是症状（错误、延迟）
- 编写一条按 customer 标签路由的通知策略，并发一条测试告警检查其路径

## 信源

- [Grafana Alerting | Grafana documentation](https://grafana.com/docs/grafana/latest/alerting/)

- [Variables | Grafana documentation](https://grafana.com/docs/grafana/latest/dashboards/variables/)

- [Grafana dashboard best practices | Grafana documentation](https://grafana.com/docs/grafana/latest/dashboards/build-dashboards/best-practices/)

- [Alert rules | Grafana documentation](https://grafana.com/docs/grafana/latest/alerting/fundamentals/alert-rules/)

- [Notifications | Grafana documentation](https://grafana.com/docs/grafana/latest/alerting/fundamentals/notification-policies/)

- [The RED Method: How to Instrument Your Services | Grafana Labs](https://grafana.com/blog/the-red-method-how-to-instrument-your-services/)

- [Monitoring Distributed Systems (Google SRE book)](https://sre.google/sre-book/monitoring-distributed-systems/)

- [Alerting | Prometheus](https://prometheus.io/docs/practices/alerting/)
