本周实验:备份只有恢复过才算数
周一早上,我需要从备份里找一个两周前的文件。备份脚本每天都在跑,cron 日志里全是成功。可当我真的打开备份目录时,才发现最近三个月的数据全部是 0 字节——磁盘满了,tar 每天半夜失败,脚本里的 || true 把退出码吞掉了。
这件事之后,我花了一个周末重做了整套备份。核心结论只有一句:没有恢复演练的备份,只是一个假设。
起因:三份备份,零次恢复
先列一下原来的现状,问题比想象中多:
| 脚本 | 目标 | 问题 |
|---|---|---|
backup-home.sh | 移动硬盘 | 无限累积,从不清理,硬盘满了就静默失败 |
backup-etc.sh | 同上的子目录 | 和上一个脚本共用目录,rsync --delete 互相覆盖 |
| 云盘同步 | 若干项目目录 | 同步不是备份,误删会同步删除 |
共同点是:全部由 cron 触发,全部 >/dev/null 2>&1,全部没人看过输出。它们的价值等于零,只是让人心里踏实。
换成 restic:先定几条规矩
选 restic 的原因很朴素:单文件仓库、支持增量去重、加密、恢复时不用先装一堆依赖。装好之后,先定四条规矩。
第一,仓库和密码分开。 密码文件放在 /etc/restic/password,chmod 600,属主 root,并且不在备份范围内。第一版我把它放在了 ~/,等于把保险箱钥匙锁进了保险箱。
1sudo install -d -m 700 /etc/restic
2sudo sh -c 'openssl rand -base64 32 > /etc/restic/password'
3sudo chmod 600 /etc/restic/password
4
5export RESTIC_REPOSITORY=/mnt/backup/restic
6export RESTIC_PASSWORD_FILE=/etc/restic/password
7restic init第二,排除规则写进文件,而不是散在命令行里。
1/home/*/.cache
2/home/*/.local/share/Trash
3/home/*/node_modules
4/home/*/.venv
5/home/*/Downloads
6/var/lib/docker
7/var/cachenode_modules 和虚拟环境是快照体积膨胀的主要原因。我的 ~ 有 180 GB,排除后第一次全量只有 42 GB。另外,带 CACHEDIR.TAG 的目录可以直接用 --exclude-caches 跳过。
第三,数据库文件不能直接拷。 SQLite 在写入过程中被复制,得到的可能是一个“看起来能打开、实际上页结构损坏”的文件。正确做法是先做一致性快照:
1sqlite3 /home/planc/app/data.db ".backup '/var/tmp/data.db'"
2# 或者
3sqlite3 /home/planc/app/data.db "VACUUM INTO '/var/tmp/data.db'"然后把 /var/tmp/data.db 加进备份。PostgreSQL 用 pg_dump,MySQL 用 mysqldump --single-transaction,道理相同。
第四,forget 和 backup 不要抢同一把锁。 restic 的 prune 需要排他锁。我一开始把 forget --prune 塞在每日备份脚本末尾,结果它和当天的备份撞上,卡在锁上等了四十分钟,systemd 直接判超时。现在改成每日 backup,每周日单独跑一次 forget --prune。
备份脚本:短,而且会失败
脚本的第一行必须是 set -euo pipefail,并且不吞退出码。失败就让 systemd 记录下来,而不是自己假装成功。
1#!/usr/bin/env bash
2set -euo pipefail
3
4export RESTIC_REPOSITORY=/mnt/backup/restic
5export RESTIC_PASSWORD_FILE=/etc/restic/password
6
7# 数据库一致性快照
8sqlite3 /home/planc/app/data.db ".backup '/var/tmp/data.db'"
9
10restic backup \
11 /home/planc /etc /var/tmp/data.db \
12 --exclude-file=/etc/restic/excludes.txt \
13 --exclude-caches \
14 --tag auto \
15 --verbose
16
17# 周日才做保留策略
18if [ "$(date +%u)" = "7" ]; then
19 restic forget \
20 --keep-daily 7 --keep-weekly 5 --keep-monthly 12 \
21 --prune
22fi保留策略用 --keep-daily/--keep-weekly/--keep-monthly 而不是按数量砍,这样“上个月最后一周”一定在。先加 --dry-run 看一眼将要删掉什么,是个成本极低的习惯:
1restic forget --keep-daily 7 --keep-weekly 5 --keep-monthly 12 --dry-run恢复演练:把恢复耗时量出来
这是本周真正新增的部分。每周日备份完成后,脚本会从最新快照里恢复一个子目录到 /var/tmp,抽 20 个文件比对 SHA-256,并记录耗时。这个耗时就是你真实的 RTO;没量过之前,所有“应该很快”都是猜测。
1#!/usr/bin/env bash
2set -euo pipefail
3export RESTIC_REPOSITORY=/mnt/backup/restic
4export RESTIC_PASSWORD_FILE=/etc/restic/password
5
6target=$(mktemp -d /var/tmp/drill.XXXXXX)
7start=$(date +%s)
8
9restic restore latest --target "$target" --include /home/planc/Projects
10end=$(date +%s)
11
12# 1. 条目数量对得上
13want=$(restic ls latest /home/planc/Projects | grep -c '^/')
14got=$(find "$target/home/planc/Projects" | wc -l)
15[ "$want" = "$got" ] || { echo "条目数不一致: $want vs $got"; exit 1; }
16
17# 2. 随机抽 20 个文件比对内容
18fail=0
19while IFS= read -r src; do
20 p=${src#"$target"} # 还原成仓库内的绝对路径
21 a=$(sha256sum "$src" | cut -d' ' -f1)
22 b=$(restic dump latest "$p" | sha256sum | cut -d' ' -f1)
23 [ "$a" = "$b" ] || { echo "内容不一致: $p"; fail=1; }
24done < <(find "$target/home/planc/Projects" -type f | shuf -n 20)
25
26echo "恢复耗时: $((end - start)) 秒"
27rm -rf "$target"
28exit "$fail"再加一条低频但重要的检查:每月跑一次 restic check --read-data-subset=10%,真正读回一部分数据块做校验。只跑 restic check 而不读数据,只能证明索引没坏。
挂到 systemd,而不是 cron
不是 cron 不能用,而是我需要三样它默认不给的东西:依赖顺序(等移动硬盘挂载完成)、持久化补跑(机器关机错过了就下次补)、以及失败可见。
1# /etc/systemd/system/restic-backup.service
2[Unit]
3Description=Restic backup
4RequiresMountsFor=/mnt/backup
5OnFailure=notify-failure@%n.service
6
7[Service]
8Type=oneshot
9ExecStart=/usr/local/bin/restic-backup.sh1# /etc/systemd/system/restic-backup.timer
2[Unit]
3Description=Daily restic backup
4
5[Timer]
6OnCalendar=*-*-* 03:30:00
7RandomizedDelaySec=10min
8Persistent=true
9
10[Install]
11WantedBy=timers.targetPersistent=true 解决了“那晚关机所以没备份”的问题;RequiresMountsFor 解决了“硬盘没挂上,备份写进了根分区”的问题——后者我曾经真的干过,根分区被塞满,机器起不来。
查看下次触发时间和上次结果:
1systemctl list-timers restic-backup.timer
2systemctl status restic-backup.service
3journalctl -u restic-backup.service -n 50 --no-pager这周的账
| 项目 | 之前 | 现在 |
|---|---|---|
| 触发方式 | 三个 cron,输出丢弃 | 一个 timer,日志可查 |
| 保留策略 | 无,满了手动删 | 7 日 / 5 周 / 12 月 |
| 是否验证 | 从未 | 每周恢复演练 + 每月 10% 数据校验 |
| 全量体积 | 180 GB | 42 GB(去重后) |
| 恢复耗时 | 未知 | 约 6 分钟(RTO 有了具体数字) |
踩到的坑也记一下:密码文件最初放在备份目录里;prune 和 backup 抢锁;漏排除 node_modules 导致第一次快照 180 GB;以及最要命的那条——旧脚本用 || true 吞掉了所有失败。
下周五件事
- 把仓库复制一份到异地(3-2-1 里的那个“1”还没落实)。
- 给
[email protected]接上手机推送,现在只是写日志。 - 演练脚本加一个“恢复到全新机器”的分支,验证不依赖原机的任何配置。
- 用
restic mount试一次按文件浏览,替代临时restore。 - 把这份
excludes.txt和恢复步骤写进 README,放在仓库之外的地方。
备份这件事的怪处在于:做得越好,你越感觉不到它存在;而一旦你感觉不到它存在,它坏掉你也不会知道。所以这周最值得的一行代码,不是 restic backup,而是那个每周日跑去恢复 20 个文件、然后认真比对哈希的循环。
参考文档
- Bash/帮助手册/tar - Primers 编程伙伴
- Bash/帮助手册/true - Primers 编程伙伴
- Bash/帮助手册/rsync - Primers 编程伙伴
- Bash/帮助手册/chmod - Primers 编程伙伴
- Bash/帮助手册/sudo - Primers 编程伙伴
- Bash/帮助手册/install - Primers 编程伙伴
- Bash/帮助手册/base64 - Primers 编程伙伴
- Bash/帮助手册/export - Primers 编程伙伴
- Bash/帮助手册/set - Primers 编程伙伴
- Bash/帮助手册/env - Primers 编程伙伴
- Bash/帮助手册/date - Primers 编程伙伴
- Bash/帮助手册/mktemp - Primers 编程伙伴
- Bash/帮助手册/ls - Primers 编程伙伴
- Bash/帮助手册/grep - Primers 编程伙伴
- Bash/帮助手册/find - Primers 编程伙伴
- Bash/帮助手册/wc - Primers 编程伙伴
- Bash/帮助手册/echo - Primers 编程伙伴
- Bash/帮助手册/exit - Primers 编程伙伴
- Bash/帮助手册/read - Primers 编程伙伴
- Bash/帮助手册/sha256sum - Primers 编程伙伴
- Bash/帮助手册/cut - Primers 编程伙伴
- Bash/帮助手册/type - Primers 编程伙伴
- Bash/帮助手册/shuf - Primers 编程伙伴
- Bash/帮助手册/rm - Primers 编程伙伴
本文由 AI 辅助生成并经人工校验,如有疏漏欢迎指正。