# 今天跑得好好的服务，可能在第一次重启时就挂掉

> 问题通常出在三行 systemd 配置里，而证据可能随重启一起消失。

原文: https://fdetimes.net/zh/guides/systemd-service-dies-after-reboot/

你在客户服务器上装完服务，敲下 `systemctl start`，看到 `active (running)`，发出“已完成”的邮件，然后离场。周末，客户的运维团队给操作系统打补丁并重启了机器。周一早上，服务没在运行，`journalctl` 里也找不到一行能说明发生了什么的日志。

对前线部署工程师（FDE）来说，这类事故尤其难受。服务器不归你管，夜里没人值班，客户记住的不是模型准确率，而是“供应商的系统老是挂”。

容易被忽略的原因有三个，都在 systemd 配置里。第四个原因让前三个很难查：日志根本没留下来。

## start 和 enable 是两件事

`systemctl` 文档写得很明确：enable 和 start 互相独立。一个 unit 可以已 enable 但没在运行，也可以正在运行却从未 enable。`systemctl start` 只让服务现在运行；下次重启后，systemd 并不知道该把它拉起来。

反过来，`systemctl enable` 也不会运行服务。它只根据 unit 的 `[Install]` 段创建符号链接，文档也说明它不会同时启动 unit。`WantedBy=multi-user.target` 这一行会让该 target 对你的服务产生一个 `Wants=` 类依赖。直接结果是：没有 `[Install]` 段的 unit，无从 enable。

**要点:** start 管今天，enable 管之后的每一次开机。

所以安装时应该敲的命令是 `systemctl enable --now app.service`：既为下次开机创建链接，又立即运行服务。然后用 `systemctl is-enabled app` 检查，而不是只看 `status`。

## Restart= 未必如你所想

第二个原因是服务运行中途挂掉，没人把它拉起来。Restart= 默认关闭，`systemd.service` 文档建议长期运行的服务使用 `on-failure`。

Red Hat 关于服务自愈的指南也把 `on-failure` 视为覆盖崩溃场景最多的策略，包括非正常信号和非零退出码。

但这里有个陷阱。`on-failure` 只在退出码非零、或因信号、超时退出时才重启。设想一个 Python worker 捕获了所有异常，记一条“数据库连接已断开”的日志，然后调用 `sys.exit(0)`。在 systemd 看来，这是一次正常退出，于是服务就一直停着。

`Restart=always` 不管是否正常退出都会重启。更好的做法仍是改代码，让出错时返回非零退出码，因为在 `on-failure` 下，退出码 0 意味着工作已完成，而不是失败。只有在无法修改进程时才用 `always`。

## systemd 放弃的时候

第三个原因更隐蔽。每次重启都受 unit 的启动频率限制约束，而 `RestartSec` 的默认延迟只有 100ms。一个一启动就崩溃的服务（比如配置文件有误）会很快耗尽允许的启动次数。

`systemd.unit` 文档指出，一个 unit 在一个时间区间内启动次数超过 burst 后，就不再允许启动。Red Hat 的示例将服务配置为：30 秒内两次重启失败，就进入 failed 状态。此时 `Restart=` 不再起作用：systemd 已经不再尝试。

这个机制也可以主动利用。部署在客户现场的服务，一个合理的 unit 如下：

```ini
[Unit]
Description=客户推理 worker
After=network-online.target
Wants=network-online.target
StartLimitIntervalSec=30
StartLimitBurst=2

[Service]
ExecStart=/opt/app/bin/worker
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
```

`RestartSec=5` 给瞬时错误（比如数据库启动较慢）留出自行恢复的时间。burst 限制则让永久性错误以清晰的 failed 状态暴露出来，而不是陷入无休止的崩溃循环。

## 证据随重启一起消失

回到周一早上。你敲下 `journalctl -u app -b -1`，想看这个服务上次启动时的日志，结果什么也没有。根据 `journald.conf` 文档，在 `Storage=auto` 下，只有 `/var/log/journal` 目录存在时，journal 才会写入磁盘；否则日志只保存在内存里。

Red Hat 警告的正是这一后果：重启后记录被删除，没有历史数据可供分析。解决办法是创建存储目录并设置持久化模式：

```bash
sudo mkdir -p /var/log/journal
# 在 /etc/systemd/journald.conf 的 [Journal] 段中设置
# Storage=persistent
sudo systemctl restart systemd-journald
```

日志持久化之后，排查常用三个参数：`-u` 按单个 unit 过滤，`-b` 限定为某一次启动，`-f` 在你重新启动服务时实时跟踪输出。

## 离场前要做的检查

别等出了事故再做。下表每一行，都是你在发出“已完成”邮件前应该能回答的问题。

| 症状 | 可能原因 | 检查命令 |
|---|---|---|
| 重启后没有运行 | 未 enable，或缺少 `[Install]` | `systemctl is-enabled app` |
| 运行中途挂掉且不恢复 | 缺少 `Restart=`，或以退出码 0 退出 | `systemctl status app` 查看退出码 |
| 尝试几次后进入 failed 状态 | 触发启动限制 | `journalctl -u app -b` |
| 没有上次启动的日志 | journal 只保存在内存中 | `ls /var/log/journal` |

最可靠的测试，仍是在现场时亲手重启客户的预发布机器，再手动杀掉进程，看它能否恢复。这五分钟远比周一早上的一通电话划算。

## 反复出现的错误

一个常见错误是给配置有问题的进程设置 `Restart=always`，然后惊讶地发现几秒后它就被锁在 failed 状态。另一个是只用 `start` 测试，从没真正重启过。

最后一个错误更多出在人身上：把机器交给客户时没有附上运维手册（runbook）。交接内容应包括 unit 名称、要运行的 `journalctl` 命令，以及 failed 状态的含义，这样客户的值班工程师就不必给你打电话。

## 把这项技能变成加分项

在 FDE 面试中，讲清楚某次服务重启后挂掉，你如何用 `journalctl -u ... -b -1` 诊断、又如何修好 unit，比技能列表里一句泛泛之词更有说服力。

写进简历时，要写成成果：为客户现场部署统一了 unit 文件和持久化 journal，并附有交接 runbook。

本周练习：搭一台虚拟机，安装一个出错时故意以退出码 0 退出的 worker，用上面的模板安装 unit 并重启。如果你能解释它为什么没恢复，并指出证明这一点的那行日志，下次到客户现场，你就知道离场前该检查什么。

**本周动手试试:**

- 在虚拟机上安装一个没有 [Install] 段的 unit，重启后用 systemctl is-enabled 看看返回什么
- 写一个故意崩溃的脚本，设置 StartLimitBurst=2 和 StartLimitIntervalSec=30，通过 journalctl -u 观察它进入 failed 状态
- 检查你使用的服务器是否有 /var/log/journal 目录，如果没有，开启 Storage=persistent

## 信源

- [systemctl manual (freedesktop.org)](https://www.freedesktop.org/software/systemd/man/latest/systemctl.html)

- [systemd.unit manual (freedesktop.org)](https://www.freedesktop.org/software/systemd/man/latest/systemd.unit.html)

- [systemd.service manual (freedesktop.org)](https://www.freedesktop.org/software/systemd/man/latest/systemd.service.html)

- [Set up self-healing services with systemd](https://www.redhat.com/sysadmin/systemd-automate-recovery)

- [journald.conf manual (freedesktop.org)](https://www.freedesktop.org/software/systemd/man/latest/journald.conf.html)

- [How to configure your system to preserve system logs after a reboot](https://www.redhat.com/en/blog/store-linux-system-journals)

- [journalctl manual (freedesktop.org)](https://www.freedesktop.org/software/systemd/man/latest/journalctl.html)
