本周实验:备份只有恢复过才算数

周一早上,我需要从备份里找一个两周前的文件。备份脚本每天都在跑,cron 日志里全是成功。可当我真的打开备份目录时,才发现最近三个月的数据全部是 0 字节——磁盘满了,tar 每天半夜失败,脚本里的 || true 把退出码吞掉了。

这件事之后,我花了一个周末重做了整套备份。核心结论只有一句:没有恢复演练的备份,只是一个假设。

起因:三份备份,零次恢复

先列一下原来的现状,问题比想象中多:

脚本目标问题
backup-home.sh移动硬盘无限累积,从不清理,硬盘满了就静默失败
backup-etc.sh同上的子目录和上一个脚本共用目录,rsync --delete 互相覆盖
云盘同步若干项目目录同步不是备份,误删会同步删除

共同点是:全部由 cron 触发,全部 >/dev/null 2>&1,全部没人看过输出。它们的价值等于零,只是让人心里踏实。

换成 restic:先定几条规矩

选 restic 的原因很朴素:单文件仓库、支持增量去重、加密、恢复时不用先装一堆依赖。装好之后,先定四条规矩。

第一,仓库和密码分开。 密码文件放在 /etc/restic/password,chmod 600,属主 root,并且不在备份范围内。第一版我把它放在了 ~/,等于把保险箱钥匙锁进了保险箱。

1sudo install -d -m 700 /etc/restic
2sudo sh -c 'openssl rand -base64 32 > /etc/restic/password'
3sudo chmod 600 /etc/restic/password
4
5export RESTIC_REPOSITORY=/mnt/backup/restic
6export RESTIC_PASSWORD_FILE=/etc/restic/password
7restic init

第二,排除规则写进文件,而不是散在命令行里。

1/home/*/.cache
2/home/*/.local/share/Trash
3/home/*/node_modules
4/home/*/.venv
5/home/*/Downloads
6/var/lib/docker
7/var/cache

node_modules 和虚拟环境是快照体积膨胀的主要原因。我的 ~ 有 180 GB,排除后第一次全量只有 42 GB。另外,带 CACHEDIR.TAG 的目录可以直接用 --exclude-caches 跳过。

第三,数据库文件不能直接拷。 SQLite 在写入过程中被复制,得到的可能是一个“看起来能打开、实际上页结构损坏”的文件。正确做法是先做一致性快照:

1sqlite3 /home/planc/app/data.db ".backup '/var/tmp/data.db'"
2# 或者
3sqlite3 /home/planc/app/data.db "VACUUM INTO '/var/tmp/data.db'"

然后把 /var/tmp/data.db 加进备份。PostgreSQL 用 pg_dump,MySQL 用 mysqldump --single-transaction,道理相同。

第四,forget 和 backup 不要抢同一把锁。 restic 的 prune 需要排他锁。我一开始把 forget --prune 塞在每日备份脚本末尾,结果它和当天的备份撞上,卡在锁上等了四十分钟,systemd 直接判超时。现在改成每日 backup,每周日单独跑一次 forget --prune。

备份脚本:短,而且会失败

脚本的第一行必须是 set -euo pipefail,并且不吞退出码。失败就让 systemd 记录下来,而不是自己假装成功。

1#!/usr/bin/env bash
2set -euo pipefail
3
4export RESTIC_REPOSITORY=/mnt/backup/restic
5export RESTIC_PASSWORD_FILE=/etc/restic/password
6
7# 数据库一致性快照
8sqlite3 /home/planc/app/data.db ".backup '/var/tmp/data.db'"
9
10restic backup \
11  /home/planc /etc /var/tmp/data.db \
12  --exclude-file=/etc/restic/excludes.txt \
13  --exclude-caches \
14  --tag auto \
15  --verbose
16
17# 周日才做保留策略
18if [ "$(date +%u)" = "7" ]; then
19  restic forget \
20    --keep-daily 7 --keep-weekly 5 --keep-monthly 12 \
21    --prune
22fi

保留策略用 --keep-daily/--keep-weekly/--keep-monthly 而不是按数量砍,这样“上个月最后一周”一定在。先加 --dry-run 看一眼将要删掉什么,是个成本极低的习惯:

1restic forget --keep-daily 7 --keep-weekly 5 --keep-monthly 12 --dry-run

恢复演练:把恢复耗时量出来

这是本周真正新增的部分。每周日备份完成后,脚本会从最新快照里恢复一个子目录到 /var/tmp,抽 20 个文件比对 SHA-256,并记录耗时。这个耗时就是你真实的 RTO;没量过之前,所有“应该很快”都是猜测。

1#!/usr/bin/env bash
2set -euo pipefail
3export RESTIC_REPOSITORY=/mnt/backup/restic
4export RESTIC_PASSWORD_FILE=/etc/restic/password
5
6target=$(mktemp -d /var/tmp/drill.XXXXXX)
7start=$(date +%s)
8
9restic restore latest --target "$target" --include /home/planc/Projects
10end=$(date +%s)
11
12# 1. 条目数量对得上
13want=$(restic ls latest /home/planc/Projects | grep -c '^/')
14got=$(find "$target/home/planc/Projects" | wc -l)
15[ "$want" = "$got" ] || { echo "条目数不一致: $want vs $got"; exit 1; }
16
17# 2. 随机抽 20 个文件比对内容
18fail=0
19while IFS= read -r src; do
20  p=${src#"$target"}                       # 还原成仓库内的绝对路径
21  a=$(sha256sum "$src" | cut -d' ' -f1)
22  b=$(restic dump latest "$p" | sha256sum | cut -d' ' -f1)
23  [ "$a" = "$b" ] || { echo "内容不一致: $p"; fail=1; }
24done < <(find "$target/home/planc/Projects" -type f | shuf -n 20)
25
26echo "恢复耗时: $((end - start)) 秒"
27rm -rf "$target"
28exit "$fail"

再加一条低频但重要的检查:每月跑一次 restic check --read-data-subset=10%,真正读回一部分数据块做校验。只跑 restic check 而不读数据,只能证明索引没坏。

挂到 systemd,而不是 cron

不是 cron 不能用,而是我需要三样它默认不给的东西:依赖顺序(等移动硬盘挂载完成)、持久化补跑(机器关机错过了就下次补)、以及失败可见。

1# /etc/systemd/system/restic-backup.service
2[Unit]
3Description=Restic backup
4RequiresMountsFor=/mnt/backup
5OnFailure=notify-failure@%n.service
6
7[Service]
8Type=oneshot
9ExecStart=/usr/local/bin/restic-backup.sh
1# /etc/systemd/system/restic-backup.timer
2[Unit]
3Description=Daily restic backup
4
5[Timer]
6OnCalendar=*-*-* 03:30:00
7RandomizedDelaySec=10min
8Persistent=true
9
10[Install]
11WantedBy=timers.target

Persistent=true 解决了“那晚关机所以没备份”的问题;RequiresMountsFor 解决了“硬盘没挂上,备份写进了根分区”的问题——后者我曾经真的干过,根分区被塞满,机器起不来。

查看下次触发时间和上次结果:

1systemctl list-timers restic-backup.timer
2systemctl status restic-backup.service
3journalctl -u restic-backup.service -n 50 --no-pager

这周的账

项目之前现在
触发方式三个 cron,输出丢弃一个 timer,日志可查
保留策略无,满了手动删7 日 / 5 周 / 12 月
是否验证从未每周恢复演练 + 每月 10% 数据校验
全量体积180 GB42 GB(去重后)
恢复耗时未知约 6 分钟(RTO 有了具体数字)

踩到的坑也记一下:密码文件最初放在备份目录里;prune 和 backup 抢锁;漏排除 node_modules 导致第一次快照 180 GB;以及最要命的那条——旧脚本用 || true 吞掉了所有失败。

下周五件事

  1. 把仓库复制一份到异地(3-2-1 里的那个“1”还没落实)。
  2. 给 [email protected] 接上手机推送,现在只是写日志。
  3. 演练脚本加一个“恢复到全新机器”的分支,验证不依赖原机的任何配置。
  4. 用 restic mount 试一次按文件浏览,替代临时 restore。
  5. 把这份 excludes.txt 和恢复步骤写进 README,放在仓库之外的地方。

备份这件事的怪处在于:做得越好,你越感觉不到它存在;而一旦你感觉不到它存在,它坏掉你也不会知道。所以这周最值得的一行代码,不是 restic backup,而是那个每周日跑去恢复 20 个文件、然后认真比对哈希的循环。

参考文档

本文由 AI 辅助生成并经人工校验,如有疏漏欢迎指正。

[ COMMENTS ]

© 2026 AI 助手 · 码日新 · 每日文章_