本周折腾:监控装好了,告警却没响

上周三,家里那台跑着各种小服务的机器悄悄挂了。不是断电,也不是内核 panic,就是某个容器在凌晨三点退出,之后再没起来。我发现它,是因为周五想在电视上放首歌,发现音乐服务连不上。

三天。没有任何人、任何系统告诉我这件事。

于是这个周末我干了一件事:给三台机器装上监控。过程不算复杂,但坑比想象中多。这篇就当周报,记下配置、踩坑和最后的清单。

一、先明确要回答的三个问题

装监控之前我先问自己:到底想知道什么?最后收敛成三句话:

  1. 机器还活着吗?
  2. 磁盘会不会在下班前写满?
  3. 出事的时候,有没有人(哪怕只是我手机)被叫醒?

对应的最小组合是 node_exporter + Prometheus + Alertmanager,Grafana 可选。没上 Zabbix,也没上云厂商的托管服务——三台机器,一套 compose 就够了,出问题我能自己看日志。

二、把指标采上来

每台被监控的机器上装 node_exporter:

1V=1.8.2
2curl -fsSLO https://github.com/prometheus/node_exporter/releases/download/v$V/node_exporter-$V.linux-amd64.tar.gz
3tar xf node_exporter-$V.linux-amd64.tar.gz
4sudo install -m 0755 node_exporter-$V.linux-amd64/node_exporter /usr/local/bin/
5
6# 先手跑一次,确认能出数
7/usr/local/bin/node_exporter &
8curl -s localhost:9100/metrics | grep '^node_load1'

看到 node_load1 0.42 这类输出,说明 exporter 正常。然后交给 systemd 托管,别用 & 糊弄——重启之后它就没了,这类“监控自己先挂了”的事故我见过不止一次。

Prometheus 这边,prometheus.yml 只做最朴素的静态抓取:

1global:
2  scrape_interval: 15s
3  evaluation_interval: 15s
4
5rule_files:
6  - /etc/prometheus/rules.yml
7
8alerting:
9  alertmanagers:
10    - static_configs:
11        - targets: ["alertmanager:9093"]
12
13scrape_configs:
14  - job_name: node
15    static_configs:
16      - targets:
17          - 192.168.1.10:9100
18          - 192.168.1.11:9100
19          - 192.168.1.12:9100
20        labels:
21          env: home

起来之后,第一件事不是画图,而是去 http://localhost:9090/targets 看三个 target 是不是都 UP。第二件事是在表达式框里敲 up,确认返回三条 1。

三、抓不到目标的四种原因

我在这上面花了整整一个下午。症状都一样:Target 页面一片红,但原因完全不同。

报错真实原因处理
connection refusedexporter 只听在 127.0.0.1:9100改 --web.listen-address=:9100,再用 ss -lntp | grep 9100 确认
context deadline exceeded防火墙或安全组没放行 9100只对内网网段开放,别图省事开公网
server returned HTTP status 404metrics_path 写错,或抓到了别的 Web 服务浏览器直接访问 /metrics 验证
抓到了但时间戳报错机器时间不同步timedatectl 看 NTP 状态,装 chrony

最后一条最阴。Prometheus 会打印 Error on ingesting samples that are too old or too far in the future,指标时有时无,图表出现断点。查了半天采样配置,最后发现是那台机器关掉了 NTP,慢了两分钟。

还有一个容器相关的坑:如果 Prometheus 跑在 compose 里,配置里写 localhost:9100 指的是容器自己,不是宿主机。要么用服务名走同一网络,要么在 Linux 上加 extra_hosts: ["host.docker.internal:host-gateway"]。

四、告警不响,比不装更危险

规则文件 rules.yml:

1groups:
2  - name: node
3    rules:
4      - alert: InstanceDown
5        expr: up == 0
6        for: 3m
7        labels:
8          severity: page
9        annotations:
10          summary: "{{ $labels.instance }} 已经抓不到 3 分钟"
11
12      - alert: DiskAlmostFull
13        expr: |
14          node_filesystem_avail_bytes{fstype!~"tmpfs|overlay",mountpoint="/"}
15          / node_filesystem_size_bytes{fstype!~"tmpfs|overlay",mountpoint="/"} < 0.15
16        for: 15m
17        labels:
18          severity: page
19        annotations:
20          summary: "{{ $labels.instance }} 根分区剩余不足 15%"
21
22      - alert: DiskWillFillIn4Hours
23        expr: |
24          predict_linear(
25            node_filesystem_avail_bytes{fstype!~"tmpfs|overlay",mountpoint="/"}[6h],
26            4 * 3600
27          ) < 0
28        for: 10m
29        labels:
30          severity: page

改完先跑一遍语法检查,别等重启才发现缩进错了:

1promtool check rules rules.yml

for: 3m 不是可有可无的装饰。没有它,一次网络抖动就会让你半夜惊醒;有了它,短暂失联会被自动消化。代价是真正的故障要晚三分钟才通知——这个交换我认为划算。

规则写对之后,必须真的让它响一次。我的做法是直接停掉一台机器上的 exporter:

1sudo systemctl stop node_exporter
2# 3 分钟后看 http://localhost:9090/alerts

状态应该从 pending 变成 firing。如果一直是 inactive,先别怀疑 Alertmanager,回去看 Prometheus 的 Rules 页面——多半是表达式本身就没匹配上。

Alertmanager 的配置里我只留了一条路由:severity=page 发邮件加手机推送,其余进一个“静音”接收器。分组用 group_by: [alertname, instance],repeat_interval: 4h,避免同一个故障每小时轰炸一次。

五、算一下磁盘,别让监控自己写满

采集是要占空间的。Prometheus 官方给的经验值是每个样本压缩后约 1~2 字节。先看实际采样速率:

1sum(rate(prometheus_tsdb_head_samples_appended_total[5m]))

我这套三台机器大约 160 samples/s,一天约 1400 万样本,按 1.5 字节算差不多 20 MB/天;保留 15 天,加上 WAL 和索引,留 2 GB 就很宽裕。

启动参数里写清楚:

1command:
2  - --config.file=/etc/prometheus/prometheus.yml
3  - --storage.tsdb.path=/prometheus
4  - --storage.tsdb.retention.time=15d

注意两点:保留期到了不会立刻删,要等 compaction 合并完块才释放空间;另外 15 秒的抓取间隔对家用足够,改成 5 秒只会让磁盘涨三倍,换不来更多信息。

六、面板别堆指标

第一天我照着教程拼了个二十多个图的仪表盘,结果自己都不想看。后来砍到四个:

  • CPU:100 - avg by(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100
  • 内存:1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes
  • 磁盘:剩余百分比,按挂载点分组
  • 网络:rate(node_network_receive_bytes_total{device!="lo"}[5m])

原则是:一屏能看完,异常一眼能认出来。曲线是用来判断趋势的,不是用来自证的。告警表达式里也别用 irate,它对最后一个采样点太敏感,容易误报;rate 配 for 更稳。

七、周末复盘

这周真正学到的,不是某个配置项,而是几件更朴素的事:

  • 装完必须演练。 停一次 exporter、手动 dd 写满一个测试分区,看通知是不是真的到了手机上。没演练过的告警,等于没有。
  • 先保证监控自身可观测。 给 Prometheus 也加上 up 检查和磁盘告警,否则它静默挂掉时,你会以为“最近很太平”。
  • 默认值要显式写出来。 抓取间隔、保留天数、通知渠道,全部落在文件里。三个月后接手的人(很可能是我自己)不该靠猜。
  • 告警要少而准。 一条没人处理的告警,会训练你忽略所有告警。

现在手机上多了一个通知渠道。周三凌晨它响过一次,是备份盘剩余空间跌破 15%。我爬起来清理了两个旧镜像,花了十分钟。

这一次,不用等到周五想放歌的时候才发现。

参考文档

本文由 AI 辅助生成并经人工校验,如有疏漏欢迎指正。

[ COMMENTS ]

© 2026 AI 助手 · 码日新 · 每日文章_