今天跑得好好的服务,可能在第一次重启时就挂掉
问题通常出在三行 systemd 配置里,而证据可能随重启一起消失。
要点速览
- start 只让服务现在运行;enable 才能让它在每次重启后恢复
- Restart=on-failure 救不了出错后以退出码 0 退出的进程,反复崩溃还会触发启动限制
- 在 Storage=auto 下,没有 /var/log/journal 目录的机器一重启就会丢掉全部日志
你在客户服务器上装完服务,敲下 systemctl start,看到 active (running),发出“已完成”的邮件,然后离场。周末,客户的运维团队给操作系统打补丁并重启了机器。周一早上,服务没在运行,journalctl 里也找不到一行能说明发生了什么的日志。
对前线部署工程师(FDE)来说,这类事故尤其难受。服务器不归你管,夜里没人值班,客户记住的不是模型准确率,而是“供应商的系统老是挂”。
容易被忽略的原因有三个,都在 systemd 配置里。第四个原因让前三个很难查:日志根本没留下来。
start 和 enable 是两件事
systemctl 文档写得很明确:enable 和 start 互相独立。一个 unit 可以已 enable 但没在运行,也可以正在运行却从未 enable。systemctl start 只让服务现在运行;下次重启后,systemd 并不知道该把它拉起来。
反过来,systemctl enable 也不会运行服务。它只根据 unit 的 [Install] 段创建符号链接,文档也说明它不会同时启动 unit。WantedBy=multi-user.target 这一行会让该 target 对你的服务产生一个 Wants= 类依赖。直接结果是:没有 [Install] 段的 unit,无从 enable。
所以安装时应该敲的命令是 systemctl enable --now app.service:既为下次开机创建链接,又立即运行服务。然后用 systemctl is-enabled app 检查,而不是只看 status。
Restart= 未必如你所想
第二个原因是服务运行中途挂掉,没人把它拉起来。Restart= 默认关闭,systemd.service 文档建议长期运行的服务使用 on-failure。
Red Hat 关于服务自愈的指南也把 on-failure 视为覆盖崩溃场景最多的策略,包括非正常信号和非零退出码。
但这里有个陷阱。on-failure 只在退出码非零、或因信号、超时退出时才重启。设想一个 Python worker 捕获了所有异常,记一条“数据库连接已断开”的日志,然后调用 sys.exit(0)。在 systemd 看来,这是一次正常退出,于是服务就一直停着。
Restart=always 不管是否正常退出都会重启。更好的做法仍是改代码,让出错时返回非零退出码,因为在 on-failure 下,退出码 0 意味着工作已完成,而不是失败。只有在无法修改进程时才用 always。
systemd 放弃的时候
第三个原因更隐蔽。每次重启都受 unit 的启动频率限制约束,而 RestartSec 的默认延迟只有 100ms。一个一启动就崩溃的服务(比如配置文件有误)会很快耗尽允许的启动次数。
systemd.unit 文档指出,一个 unit 在一个时间区间内启动次数超过 burst 后,就不再允许启动。Red Hat 的示例将服务配置为:30 秒内两次重启失败,就进入 failed 状态。此时 Restart= 不再起作用:systemd 已经不再尝试。
这个机制也可以主动利用。部署在客户现场的服务,一个合理的 unit 如下:
[Unit]
Description=客户推理 worker
After=network-online.target
Wants=network-online.target
StartLimitIntervalSec=30
StartLimitBurst=2
[Service]
ExecStart=/opt/app/bin/worker
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
RestartSec=5 给瞬时错误(比如数据库启动较慢)留出自行恢复的时间。burst 限制则让永久性错误以清晰的 failed 状态暴露出来,而不是陷入无休止的崩溃循环。
证据随重启一起消失
回到周一早上。你敲下 journalctl -u app -b -1,想看这个服务上次启动时的日志,结果什么也没有。根据 journald.conf 文档,在 Storage=auto 下,只有 /var/log/journal 目录存在时,journal 才会写入磁盘;否则日志只保存在内存里。
Red Hat 警告的正是这一后果:重启后记录被删除,没有历史数据可供分析。解决办法是创建存储目录并设置持久化模式:
sudo mkdir -p /var/log/journal
# 在 /etc/systemd/journald.conf 的 [Journal] 段中设置
# Storage=persistent
sudo systemctl restart systemd-journald
日志持久化之后,排查常用三个参数:-u 按单个 unit 过滤,-b 限定为某一次启动,-f 在你重新启动服务时实时跟踪输出。
离场前要做的检查
别等出了事故再做。下表每一行,都是你在发出“已完成”邮件前应该能回答的问题。
| 症状 | 可能原因 | 检查命令 |
|---|---|---|
| 重启后没有运行 | 未 enable,或缺少 [Install] |
systemctl is-enabled app |
| 运行中途挂掉且不恢复 | 缺少 Restart=,或以退出码 0 退出 |
systemctl status app 查看退出码 |
| 尝试几次后进入 failed 状态 | 触发启动限制 | journalctl -u app -b |
| 没有上次启动的日志 | journal 只保存在内存中 | ls /var/log/journal |
最可靠的测试,仍是在现场时亲手重启客户的预发布机器,再手动杀掉进程,看它能否恢复。这五分钟远比周一早上的一通电话划算。
反复出现的错误
一个常见错误是给配置有问题的进程设置 Restart=always,然后惊讶地发现几秒后它就被锁在 failed 状态。另一个是只用 start 测试,从没真正重启过。
最后一个错误更多出在人身上:把机器交给客户时没有附上运维手册(runbook)。交接内容应包括 unit 名称、要运行的 journalctl 命令,以及 failed 状态的含义,这样客户的值班工程师就不必给你打电话。
把这项技能变成加分项
在 FDE 面试中,讲清楚某次服务重启后挂掉,你如何用 journalctl -u ... -b -1 诊断、又如何修好 unit,比技能列表里一句泛泛之词更有说服力。
写进简历时,要写成成果:为客户现场部署统一了 unit 文件和持久化 journal,并附有交接 runbook。
本周练习:搭一台虚拟机,安装一个出错时故意以退出码 0 退出的 worker,用上面的模板安装 unit 并重启。如果你能解释它为什么没恢复,并指出证明这一点的那行日志,下次到客户现场,你就知道离场前该检查什么。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- systemctl manual (freedesktop.org)
- systemd.unit manual (freedesktop.org)
- systemd.service manual (freedesktop.org)
- Set up self-healing services with systemd · 2021-10-04
- journald.conf manual (freedesktop.org)
- How to configure your system to preserve system logs after a reboot · 2022-06-02
- journalctl manual (freedesktop.org)