FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

今天跑得好好的服务,可能在第一次重启时就挂掉

问题通常出在三行 systemd 配置里,而证据可能随重启一起消失。

分享微博

要点速览

  • start 只让服务现在运行;enable 才能让它在每次重启后恢复
  • Restart=on-failure 救不了出错后以退出码 0 退出的进程,反复崩溃还会触发启动限制
  • 在 Storage=auto 下,没有 /var/log/journal 目录的机器一重启就会丢掉全部日志
这是一张决策树,用来排查重启后没有运行的服务。第一步:运行 systemctl is-enabled app;如果显示 disabled,就执行 enable --now,并补上 [Install] 段。第二步:检查 /var/log/journal 目录是否存在;如果不存在,就设置 Storage=persistent(图中高亮)。第三步:在 systemctl status 中查看退出码;退出码为 0 说明要修改代码,状态为 failed 则查看 journalctl -u app -b。
服务重启后没有运行时,按顺序问这三个问题,右侧分支就是解决办法。如果没有持久化日志,其他原因就很难查出来。

你在客户服务器上装完服务,敲下 systemctl start,看到 active (running),发出“已完成”的邮件,然后离场。周末,客户的运维团队给操作系统打补丁并重启了机器。周一早上,服务没在运行,journalctl 里也找不到一行能说明发生了什么的日志。

对前线部署工程师(FDE)来说,这类事故尤其难受。服务器不归你管,夜里没人值班,客户记住的不是模型准确率,而是“供应商的系统老是挂”。

容易被忽略的原因有三个,都在 systemd 配置里。第四个原因让前三个很难查:日志根本没留下来。

start 和 enable 是两件事

systemctl 文档写得很明确:enable 和 start 互相独立。一个 unit 可以已 enable 但没在运行,也可以正在运行却从未 enable。systemctl start 只让服务现在运行;下次重启后,systemd 并不知道该把它拉起来。

反过来,systemctl enable 也不会运行服务。它只根据 unit 的 [Install] 段创建符号链接,文档也说明它不会同时启动 unit。WantedBy=multi-user.target 这一行会让该 target 对你的服务产生一个 Wants= 类依赖。直接结果是:没有 [Install] 段的 unit,无从 enable。

所以安装时应该敲的命令是 systemctl enable --now app.service:既为下次开机创建链接,又立即运行服务。然后用 systemctl is-enabled app 检查,而不是只看 status。

Restart= 未必如你所想

第二个原因是服务运行中途挂掉,没人把它拉起来。Restart= 默认关闭,systemd.service 文档建议长期运行的服务使用 on-failure。

Red Hat 关于服务自愈的指南也把 on-failure 视为覆盖崩溃场景最多的策略,包括非正常信号和非零退出码。

但这里有个陷阱。on-failure 只在退出码非零、或因信号、超时退出时才重启。设想一个 Python worker 捕获了所有异常,记一条“数据库连接已断开”的日志,然后调用 sys.exit(0)。在 systemd 看来,这是一次正常退出,于是服务就一直停着。

Restart=always 不管是否正常退出都会重启。更好的做法仍是改代码,让出错时返回非零退出码,因为在 on-failure 下,退出码 0 意味着工作已完成,而不是失败。只有在无法修改进程时才用 always。

systemd 放弃的时候

第三个原因更隐蔽。每次重启都受 unit 的启动频率限制约束,而 RestartSec 的默认延迟只有 100ms。一个一启动就崩溃的服务(比如配置文件有误)会很快耗尽允许的启动次数。

systemd.unit 文档指出,一个 unit 在一个时间区间内启动次数超过 burst 后,就不再允许启动。Red Hat 的示例将服务配置为:30 秒内两次重启失败,就进入 failed 状态。此时 Restart= 不再起作用:systemd 已经不再尝试。

这个机制也可以主动利用。部署在客户现场的服务,一个合理的 unit 如下:

[Unit]
Description=客户推理 worker
After=network-online.target
Wants=network-online.target
StartLimitIntervalSec=30
StartLimitBurst=2

[Service]
ExecStart=/opt/app/bin/worker
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

RestartSec=5 给瞬时错误(比如数据库启动较慢)留出自行恢复的时间。burst 限制则让永久性错误以清晰的 failed 状态暴露出来,而不是陷入无休止的崩溃循环。

证据随重启一起消失

回到周一早上。你敲下 journalctl -u app -b -1,想看这个服务上次启动时的日志,结果什么也没有。根据 journald.conf 文档,在 Storage=auto 下,只有 /var/log/journal 目录存在时,journal 才会写入磁盘;否则日志只保存在内存里。

Red Hat 警告的正是这一后果:重启后记录被删除,没有历史数据可供分析。解决办法是创建存储目录并设置持久化模式:

sudo mkdir -p /var/log/journal
# 在 /etc/systemd/journald.conf 的 [Journal] 段中设置
# Storage=persistent
sudo systemctl restart systemd-journald

日志持久化之后,排查常用三个参数:-u 按单个 unit 过滤,-b 限定为某一次启动,-f 在你重新启动服务时实时跟踪输出。

离场前要做的检查

别等出了事故再做。下表每一行,都是你在发出“已完成”邮件前应该能回答的问题。

症状 可能原因 检查命令
重启后没有运行 未 enable,或缺少 [Install] systemctl is-enabled app
运行中途挂掉且不恢复 缺少 Restart=,或以退出码 0 退出 systemctl status app 查看退出码
尝试几次后进入 failed 状态 触发启动限制 journalctl -u app -b
没有上次启动的日志 journal 只保存在内存中 ls /var/log/journal

最可靠的测试,仍是在现场时亲手重启客户的预发布机器,再手动杀掉进程,看它能否恢复。这五分钟远比周一早上的一通电话划算。

反复出现的错误

一个常见错误是给配置有问题的进程设置 Restart=always,然后惊讶地发现几秒后它就被锁在 failed 状态。另一个是只用 start 测试,从没真正重启过。

最后一个错误更多出在人身上:把机器交给客户时没有附上运维手册(runbook)。交接内容应包括 unit 名称、要运行的 journalctl 命令,以及 failed 状态的含义,这样客户的值班工程师就不必给你打电话。

把这项技能变成加分项

在 FDE 面试中,讲清楚某次服务重启后挂掉,你如何用 journalctl -u ... -b -1 诊断、又如何修好 unit,比技能列表里一句泛泛之词更有说服力。

写进简历时,要写成成果:为客户现场部署统一了 unit 文件和持久化 journal,并附有交接 runbook。

本周练习:搭一台虚拟机,安装一个出错时故意以退出码 0 退出的 worker,用上面的模板安装 unit 并重启。如果你能解释它为什么没恢复,并指出证明这一点的那行日志,下次到客户现场,你就知道离场前该检查什么。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 1: 基础认知仓库今天公开,会泄露哪个客户的密钥?一套代码服务多个客户时,配置与密钥要分开存放,合同终止或泄露当天,密钥必须能吊销。