# 数据搬完不等于全部到齐，用 rclone check 对账

> 一个命令行工具同步 SFTP、S3 和 GCS，还能逐文件出对账报告，前提是摸清两端如何处理哈希。

原文: https://fdetimes.net/zh/tools/rclone-check-client-data-migration/

签收时最难回答的问题，很少是“传输完成了吗？”，而是“你怎么知道没有漏文件？”

假如你拿出的答案是一张文件数量截图，客户从中看不出哪些文件一致、哪些不一致。rclone 能给出更好的答案：一条命令，生成覆盖每条路径的对账报告。

rclone 是 Nick Craig-Wood 开发的命令行程序，采用 MIT 许可证，可在众多云存储服务之间同步文件和目录。项目主页在核心功能中列出了两点：始终校验 MD5 和 SHA1 哈希以确保完整性；通过比较哈希找出缺失或多余的文件。

对前线部署工程师（FDE）来说，这恰恰是工作中容易被低估的部分。客户数据经 SFTP 传来，落到 S3 或 GCS，下游的一切（数据管道、模型、看板）是否可信，取决于这第一次传输。

## 同步命令可能删除数据

设想一家物流客户每天把导出文件放到 SFTP 服务器上，而你的系统从 GCS bucket 读取数据。声明好两个 remote（不妨叫 `client-sftp` 和 `dest-gcs`）后，基本命令如下：

```bash
rclone sync client-sftp:/exports dest-gcs:client-data/exports --dry-run
```

`rclone sync` 让目标端与源端保持一致，也就是说，目标端有而源端没有的文件可能被删除。官方文档明确指出这可能导致数据丢失，建议先用 `--dry-run` 或 `--interactive`/`-i` 测试。把它养成条件反射：第一次永远是试运行，读完输出，再去掉这个参数。

从第二次开始，成本就低得多。sync 会跳过两端已经一致的文件（比较大小和修改时间，或 MD5SUM），所以每天重跑也不必把所有数据再传一遍。

在客户环境里使用 GCS，无需打开浏览器做 OAuth 登录。配置 remote 时，rclone 允许指定一个服务账号凭据文件，适合无界面服务器或客户提供的机器。

## 客户需要的是对账报告

同步完成后，运行校验：

```bash
rclone check client-sftp:/exports dest-gcs:client-data/exports --combined reconciliation.txt
```

`rclone check` 比较源端和目标端的大小和哈希（MD5 或 SHA1），不改动任何一端。`--combined` 参数会写出一份 diff 风格的报告，每条路径一个符号：`=` 表示一致，`+` 表示仅在源端，`-` 表示仅在目标端，`*` 表示两端都有但内容不同，`!` 表示出错。

假设某个目录有 1,000 个文件，报告显示 997 行 `=`、2 行 `+`、1 行 `*`。“已传输 999 个文件”听上去几乎完整，但报告会准确告诉你是哪三个文件需要处理、原因是什么。签收邮件里要附的就是这份报告，而不是截图。

**要点:** 数据搬完，传输还没结束；每个文件都对完账，才算结束。

## 两端的哈希各不相同

问题在于，`check` 的可靠程度取决于两端共有的哈希。本例中的三种存储处理哈希的方式差别很大：

| 后端 | 是否有哈希？ | 对账时需要知道什么 |
|---|---|---|
| SFTP | 没有内置校验和 | 只有账号具备 shell 权限时才能计算；rclone 会尝试 `md5sum`、`md5`、`rclone md5sum` |
| S3 | 不一定有 | 分段上传时 `ETag` 不再是 MD5；rclone 会在元数据中存入自己的 MD5，但对大对象可以关闭此功能 |
| GCS | 有，原生存储 MD5 | 比较哈希无需额外步骤 |

对于 SFTP，rclone 会在远端机器上依次尝试这三条命令，用第一条能运行的。如果客户只提供 SFTP 账号、没有 shell，就没有哈希可比。这个问题要在需求调研阶段问清楚，再承诺任何对账。

对于 S3，分段上传的对象其 `ETag` 不是 MD5，rclone 只能依靠自己写进元数据的 MD5。如果对大对象关闭了这一功能，这些分段上传的对象就没有 MD5 可比。不要想当然地认为它存在。

两端没有共同的哈希时，`rclone check --download` 会直接比较数据内容，而不依赖哈希。这个参数留给无 shell 的 SFTP 到 S3 这类无法比较哈希的组合。

## 先学什么，简历上写什么

合理的学习顺序：声明 remote，用试运行跑 sync，读懂 `--combined` 报告，再弄清常用后端各自的哈希情况。最后一步不要跳过，它决定你的报告是否可信。

迁移客户数据时的常见错误：

- 不做试运行就直接 `sync`，而这条命令可能删除目标端文件。
- 以为 S3 的 `ETag` 一定是 MD5，而分段上传恰恰打破了这一假设。
- 源端是 SFTP，却没先问账号有没有 shell 权限，就承诺基于哈希对账。
- 把 sync 无报错结束当作证据，而不再跑一遍 `check`。

简历上不要只写“将数据迁移到 GCS”。要写清你如何证明数据完整：基于哈希的对账、逐文件报告、发现并解决了多少处差异。

客户不会记得你搬数据有多快。他们记得的，是那个很久之后才被发现缺失的文件。

**本周动手试试:**

- 安装 rclone，声明两个测试 remote（一个本地目录和一个使用服务账号的 GCS bucket），然后用 --dry-run 运行 sync
- 在目标端故意修改一个文件、删除另一个文件，运行 rclone check --combined，逐个读懂报告中的符号
- 为最近一次数据传输写一行简历描述，说明你如何证明数据完整、正确

## 信源

- [Rclone (rclone.org)](https://rclone.org/)

- [rclone/rclone (GitHub)](https://github.com/rclone/rclone)

- [rclone sync](https://rclone.org/commands/rclone_sync/)

- [rclone check](https://rclone.org/commands/rclone_check/)

- [SFTP (rclone docs)](https://rclone.org/sftp/)

- [Amazon S3 (rclone docs)](https://rclone.org/s3/)

- [Google Cloud Storage (rclone docs)](https://rclone.org/googlecloudstorage/)
