本周折腾:监控装好了,告警却没响
上周三,家里那台跑着各种小服务的机器悄悄挂了。不是断电,也不是内核 panic,就是某个容器在凌晨三点退出,之后再没起来。我发现它,是因为周五想在电视上放首歌,发现音乐服务连不上。
三天。没有任何人、任何系统告诉我这件事。
于是这个周末我干了一件事:给三台机器装上监控。过程不算复杂,但坑比想象中多。这篇就当周报,记下配置、踩坑和最后的清单。
一、先明确要回答的三个问题
装监控之前我先问自己:到底想知道什么?最后收敛成三句话:
- 机器还活着吗?
- 磁盘会不会在下班前写满?
- 出事的时候,有没有人(哪怕只是我手机)被叫醒?
对应的最小组合是 node_exporter + Prometheus + Alertmanager,Grafana 可选。没上 Zabbix,也没上云厂商的托管服务——三台机器,一套 compose 就够了,出问题我能自己看日志。
二、把指标采上来
每台被监控的机器上装 node_exporter:
1V=1.8.2
2curl -fsSLO https://github.com/prometheus/node_exporter/releases/download/v$V/node_exporter-$V.linux-amd64.tar.gz
3tar xf node_exporter-$V.linux-amd64.tar.gz
4sudo install -m 0755 node_exporter-$V.linux-amd64/node_exporter /usr/local/bin/
5
6# 先手跑一次,确认能出数
7/usr/local/bin/node_exporter &
8curl -s localhost:9100/metrics | grep '^node_load1'看到 node_load1 0.42 这类输出,说明 exporter 正常。然后交给 systemd 托管,别用 & 糊弄——重启之后它就没了,这类“监控自己先挂了”的事故我见过不止一次。
Prometheus 这边,prometheus.yml 只做最朴素的静态抓取:
1global:
2 scrape_interval: 15s
3 evaluation_interval: 15s
4
5rule_files:
6 - /etc/prometheus/rules.yml
7
8alerting:
9 alertmanagers:
10 - static_configs:
11 - targets: ["alertmanager:9093"]
12
13scrape_configs:
14 - job_name: node
15 static_configs:
16 - targets:
17 - 192.168.1.10:9100
18 - 192.168.1.11:9100
19 - 192.168.1.12:9100
20 labels:
21 env: home起来之后,第一件事不是画图,而是去 http://localhost:9090/targets 看三个 target 是不是都 UP。第二件事是在表达式框里敲 up,确认返回三条 1。
三、抓不到目标的四种原因
我在这上面花了整整一个下午。症状都一样:Target 页面一片红,但原因完全不同。
| 报错 | 真实原因 | 处理 |
|---|---|---|
connection refused | exporter 只听在 127.0.0.1:9100 | 改 --web.listen-address=:9100,再用 ss -lntp | grep 9100 确认 |
context deadline exceeded | 防火墙或安全组没放行 9100 | 只对内网网段开放,别图省事开公网 |
server returned HTTP status 404 | metrics_path 写错,或抓到了别的 Web 服务 | 浏览器直接访问 /metrics 验证 |
| 抓到了但时间戳报错 | 机器时间不同步 | timedatectl 看 NTP 状态,装 chrony |
最后一条最阴。Prometheus 会打印 Error on ingesting samples that are too old or too far in the future,指标时有时无,图表出现断点。查了半天采样配置,最后发现是那台机器关掉了 NTP,慢了两分钟。
还有一个容器相关的坑:如果 Prometheus 跑在 compose 里,配置里写 localhost:9100 指的是容器自己,不是宿主机。要么用服务名走同一网络,要么在 Linux 上加 extra_hosts: ["host.docker.internal:host-gateway"]。
四、告警不响,比不装更危险
规则文件 rules.yml:
1groups:
2 - name: node
3 rules:
4 - alert: InstanceDown
5 expr: up == 0
6 for: 3m
7 labels:
8 severity: page
9 annotations:
10 summary: "{{ $labels.instance }} 已经抓不到 3 分钟"
11
12 - alert: DiskAlmostFull
13 expr: |
14 node_filesystem_avail_bytes{fstype!~"tmpfs|overlay",mountpoint="/"}
15 / node_filesystem_size_bytes{fstype!~"tmpfs|overlay",mountpoint="/"} < 0.15
16 for: 15m
17 labels:
18 severity: page
19 annotations:
20 summary: "{{ $labels.instance }} 根分区剩余不足 15%"
21
22 - alert: DiskWillFillIn4Hours
23 expr: |
24 predict_linear(
25 node_filesystem_avail_bytes{fstype!~"tmpfs|overlay",mountpoint="/"}[6h],
26 4 * 3600
27 ) < 0
28 for: 10m
29 labels:
30 severity: page改完先跑一遍语法检查,别等重启才发现缩进错了:
1promtool check rules rules.ymlfor: 3m 不是可有可无的装饰。没有它,一次网络抖动就会让你半夜惊醒;有了它,短暂失联会被自动消化。代价是真正的故障要晚三分钟才通知——这个交换我认为划算。
规则写对之后,必须真的让它响一次。我的做法是直接停掉一台机器上的 exporter:
1sudo systemctl stop node_exporter
2# 3 分钟后看 http://localhost:9090/alerts状态应该从 pending 变成 firing。如果一直是 inactive,先别怀疑 Alertmanager,回去看 Prometheus 的 Rules 页面——多半是表达式本身就没匹配上。
Alertmanager 的配置里我只留了一条路由:severity=page 发邮件加手机推送,其余进一个“静音”接收器。分组用 group_by: [alertname, instance],repeat_interval: 4h,避免同一个故障每小时轰炸一次。
五、算一下磁盘,别让监控自己写满
采集是要占空间的。Prometheus 官方给的经验值是每个样本压缩后约 1~2 字节。先看实际采样速率:
1sum(rate(prometheus_tsdb_head_samples_appended_total[5m]))我这套三台机器大约 160 samples/s,一天约 1400 万样本,按 1.5 字节算差不多 20 MB/天;保留 15 天,加上 WAL 和索引,留 2 GB 就很宽裕。
启动参数里写清楚:
1command:
2 - --config.file=/etc/prometheus/prometheus.yml
3 - --storage.tsdb.path=/prometheus
4 - --storage.tsdb.retention.time=15d注意两点:保留期到了不会立刻删,要等 compaction 合并完块才释放空间;另外 15 秒的抓取间隔对家用足够,改成 5 秒只会让磁盘涨三倍,换不来更多信息。
六、面板别堆指标
第一天我照着教程拼了个二十多个图的仪表盘,结果自己都不想看。后来砍到四个:
- CPU:
100 - avg by(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100 - 内存:
1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes - 磁盘:剩余百分比,按挂载点分组
- 网络:
rate(node_network_receive_bytes_total{device!="lo"}[5m])
原则是:一屏能看完,异常一眼能认出来。曲线是用来判断趋势的,不是用来自证的。告警表达式里也别用 irate,它对最后一个采样点太敏感,容易误报;rate 配 for 更稳。
七、周末复盘
这周真正学到的,不是某个配置项,而是几件更朴素的事:
- 装完必须演练。 停一次 exporter、手动
dd写满一个测试分区,看通知是不是真的到了手机上。没演练过的告警,等于没有。 - 先保证监控自身可观测。 给 Prometheus 也加上
up检查和磁盘告警,否则它静默挂掉时,你会以为“最近很太平”。 - 默认值要显式写出来。 抓取间隔、保留天数、通知渠道,全部落在文件里。三个月后接手的人(很可能是我自己)不该靠猜。
- 告警要少而准。 一条没人处理的告警,会训练你忽略所有告警。
现在手机上多了一个通知渠道。周三凌晨它响过一次,是备份盘剩余空间跌破 15%。我爬起来清理了两个旧镜像,花了十分钟。
这一次,不用等到周五想放歌的时候才发现。
参考文档
- Bash/帮助手册/curl - Primers 编程伙伴
- Bash/帮助手册/tar - Primers 编程伙伴
- Bash/帮助手册/sudo - Primers 编程伙伴
- Bash/帮助手册/install - Primers 编程伙伴
- Bash/帮助手册/local - Primers 编程伙伴
- Bash/帮助手册/grep - Primers 编程伙伴
- Bash/帮助手册/dd - Primers 编程伙伴
本文由 AI 辅助生成并经人工校验,如有疏漏欢迎指正。