FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

脚本每晚都记录“Backup OK”,备份却是空的

典型交接脚本里有四行会悄无声息地失败,从 cd 进未挂载的目录,到可能清空根文件系统的 rm -rf。

分享微博

要点速览

  • 没有 pipefail,管道中第一个命令的失败会被忽略:pg_dump 出错了,gzip 照样写出文件并返回 0。
  • set -e 只是一张安全网:它在 if 判断和 && 、|| 列表中不会触发,而在条件语句里调用函数是一个有文档记载的陷阱。
  • ShellCheck 遵循标准退出码,可以直接接入 CI,能发现漏掉的引号、对空变量执行的 rm -rf 以及失败的 cd 命令。
防御式 bash 脚本的四层堆叠示意图。自下而上:1. set -euo pipefail,是安全网而非保险;2. 用 ${var:?} 和 || exit 做显式检查,以橙色突出;3. mktemp + trap,先写入临时文件再执行 mv;4. CI 中的 ShellCheck,出现任何警告即让构建失败。
set -e 在很多情况下不会触发,因此起决定作用的是在每个可能损坏数据的步骤做显式检查。来源:Bash Reference Manual、BashFAQ/105 和 ShellCheck wiki,均见文中引用。

部署进行到第三周,客户的运维团队要用留给他们的备份脚本恢复数据。cron 每晚都在运行它,每天早上日志都写着“Backup OK”。可他们打开的压缩文件是空的。

脚本从来没有崩溃过。它只是在某一步失败之后继续往下跑,而这正是 bash 最危险的行为。对前线部署工程师(FDE)来说,交接脚本会在项目结束后长期运行,跑在团队里没人管理的机器上,处理团队里没人见过的数据。

所以这里真正重要的能力不是写出优雅的 bash,而是写出一出问题就停下来并清楚报错的 bash,而不是在错误状态下继续执行。

一个脚本,四处失败,没有一条错误信息

下面是每个人都写过的“在我笔记本上好好的”版本:

#!/bin/bash
BACKUP_DIR=/data/backups
cd $BACKUP_DIR
rm -rf $STAGING_DIR/*
pg_dump "$DB_URL" | gzip > nightly.sql.gz
echo "Backup OK"

第 3 行是第一处失败。如果 /data/backups 没有挂载,cd 会失败,脚本却照样往下执行。ShellCheck wiki(代码 SC2164)警告的正是这种情况:之后的所有操作都发生在错误的目录里。

第 4 行更糟。客户的 cron 通常不会加载你的 shell 所加载的环境变量,所以 STAGING_DIR 可能为空。这条命令就变成了 rm -rf /*,SC2115 的 wiki 页面说得很直白:它会删除根目录下的一切。

未加引号的变量还会触发 SC2086:文件名中含有空格或通配符(这在客户数据里很常见)时,脚本就会出错。

第 5 行是备份文件为空的原因。如果 pg_dump 因密码错误而失败,gzip 仍会压缩一个空的数据流并以 0 退出。管道的返回状态取决于最后一个命令,于是第 6 行照样打印“Backup OK”。

开头三个选项能做什么,不能做什么

第一道防线是 set -euo pipefail。根据 Bash Reference Manual,-e(errexit)让 shell 在管道、列表或复合命令返回非零状态时退出。-u 把使用未设置的变量视为错误,向 stderr 输出信息,并在非交互式 shell 中退出,因此变量名拼错能立刻被发现。

pipefail 修复的是第 5 行的问题。手册指出,这个选项默认关闭。开启后,管道的返回状态是最后一个(最右边)以非零状态退出的命令的状态;不开启时,set -e 会忽略管道中除最后一个命令之外所有命令的失败。

不过,这三个选项并不是保险。同一份手册列出了 set -e 不会触发的场景:if 的判断条件中,以及 && 或 || 列表中除最后一个 && 或 || 之后那条命令以外的任何命令。Wooledge 上的 BashFAQ/105 形容这些规则极其复杂,而且在不同 Bash 版本之间还会变化。

这篇 FAQ 还点出了一个特别危险的陷阱:把 set -e 和在条件语句中调用的函数放在一起使用。一个把全部主逻辑包在 if run_backup; then ... 里的脚本恰好会掉进去,所以不要指望 errexit 保护函数内部发生的任何事。

FAQ 作者本人的建议是:认真处理错误,不要依赖不可信的 set -e。

重写之后,每处失败都会发声

正确的做法是把 set -euo pipefail 当作安全网,再在每一个可能损坏数据的步骤加上显式检查:

#!/usr/bin/env bash
set -euo pipefail

: "${DB_URL:?未设置 DB_URL}"
: "${STAGING_DIR:?未设置 STAGING_DIR}"
BACKUP_DIR="/data/backups"

cd "$BACKUP_DIR" || { echo "无法进入目录 $BACKUP_DIR" >&2; exit 1; }

tmp="$(mktemp "$BACKUP_DIR/nightly.XXXXXX")"
trap 'rm -f "$tmp"' EXIT

rm -rf "${STAGING_DIR:?}"/*

if ! pg_dump "$DB_URL" | gzip > "$tmp"; then
  echo "pg_dump 失败,保留上一次的备份" >&2
  exit 1
fi

mv "$tmp" nightly.sql.gz
echo "Backup OK"

开头两行 : 在启动时检查配置变量。如果缺少 DB_URL,脚本会停下来,给出运维团队看得懂的信息,而不是在执行到一半时挂掉。rm 命令中的 ${STAGING_DIR:?} 是 SC2115 推荐的修复方法:变量为空时命令直接失败,永远不会展开成 /*。

cd ... || exit 是 SC2164 的修复方法。即使已经有了 set -e,这里也要显式写出来,因为安全不应依赖上面那些复杂的规则。

写文件这一步是大家最容易省略的部分。数据先写入用 mktemp 创建的临时文件,只有管道成功时,才用 mv 替换旧的备份。

BashFAQ/062 强调,工具必须真正以原子方式创建文件,而不只是给出一个没被占用的文件名,mktemp 恰好做到了这一点。把临时文件创建在目标目录内,可以保证 mv 在同一个文件系统上完成。

无论脚本以何种方式结束,trap '...' EXIT 都会删除临时文件。pg_dump 失败时,前一晚的备份完好无损,不留下任何残余文件,cron 收到退出码 1 并发出告警。注意,if ! 会让这条管道的 errexit 失效,所以这里的显式检查是必需的,不是装饰。

在客户之前,先让 ShellCheck 读一遍

再小心也难免漏掉一个引号。ShellCheck 是一款针对 bash/sh 脚本的静态分析工具。它遵循标准的退出码约定,所以只要在工作流里加一条 shellcheck 命令,一出现警告 CI 就会变红。

对旧版本运行 shellcheck backup.sh,警告恰好出现在上文分析过的那几行,比如未加引号变量的 SC2086,以及未检查 cd 的 SC2164。

每个代码都有一个 wiki 页面解释原因和修复方法。阅读这些页面(包括讲空变量 rm -rf 的 SC2115),是学习防御式 bash 最快的途径。

每个脚本交接前的例行检查分四步,对应开头图中的四层。第一步是 set -euo pipefail。第二步是加上显式检查:在文件开头为每个配置变量写上 ${var:?message},为 cd 以及任何一旦失败就会破坏下一步的命令加上 || exit。

第三步是先写临时文件再重命名,并配上负责清理的 trap。最后,在交接仓库的 CI 中运行 ShellCheck。

让“安全”脚本照样毁掉数据的错误

最常见的是完全信任 set -e,然后把主逻辑包进一个从 if 中调用的函数,这正是 BashFAQ/105 警告的陷阱。如果需要根据函数结果分支,就在函数内部用 || return 1 检查错误。

另一个错误是只在自己机器上测试,那里所有环境变量都已设置好。用 env -i bash backup.sh 运行,模拟 cron 提供的空环境。还有,不要为了赶工而屏蔽 ShellCheck 警告,应当阅读 wiki 并修复。

就职业发展而言,这个细节值得写进简历或作品集:“交接脚本在 CI 中运行 ShellCheck,失败时返回清晰的退出码,出错时不覆盖数据”。

在 FDE 面试中,如果有机会解释你如何让留下的东西在你离开后不出问题,就拿成果说话。一个小仓库,里面放着上面两个版本的脚本,每修复一条警告就有一次提交,比任何自我描述都更有说服力。

本周练习

找一个你交接过的脚本,删掉一个配置变量,让管道中的第一个命令失败,再运行一次。如果日志仍然报告成功,你的客户就是在信任一行不真实的文字。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 1: 基础认知客户问你是谁时,用一页纸回答一句角色陈述、一份不做清单,再加客户书面确认,就能在项目头几周挡住范围蔓延。