数据搬完不等于全部到齐,用 rclone check 对账
一个命令行工具同步 SFTP、S3 和 GCS,还能逐文件出对账报告,前提是摸清两端如何处理哈希。
要点速览
- rclone sync 让目标端与源端完全一致,可能删除数据,务必先跑 --dry-run
- rclone check 比较大小和哈希,不改动任何一端;--combined 输出逐文件报告
- SFTP 没有内置校验和,S3 分段上传的 ETag 不是 MD5,GCS 原生存储 MD5
签收时最难回答的问题,很少是“传输完成了吗?”,而是“你怎么知道没有漏文件?”
假如你拿出的答案是一张文件数量截图,客户从中看不出哪些文件一致、哪些不一致。rclone 能给出更好的答案:一条命令,生成覆盖每条路径的对账报告。
rclone 是 Nick Craig-Wood 开发的命令行程序,采用 MIT 许可证,可在众多云存储服务之间同步文件和目录。项目主页在核心功能中列出了两点:始终校验 MD5 和 SHA1 哈希以确保完整性;通过比较哈希找出缺失或多余的文件。
对前线部署工程师(FDE)来说,这恰恰是工作中容易被低估的部分。客户数据经 SFTP 传来,落到 S3 或 GCS,下游的一切(数据管道、模型、看板)是否可信,取决于这第一次传输。
同步命令可能删除数据
设想一家物流客户每天把导出文件放到 SFTP 服务器上,而你的系统从 GCS bucket 读取数据。声明好两个 remote(不妨叫 client-sftp 和 dest-gcs)后,基本命令如下:
rclone sync client-sftp:/exports dest-gcs:client-data/exports --dry-run
rclone sync 让目标端与源端保持一致,也就是说,目标端有而源端没有的文件可能被删除。官方文档明确指出这可能导致数据丢失,建议先用 --dry-run 或 --interactive/-i 测试。把它养成条件反射:第一次永远是试运行,读完输出,再去掉这个参数。
从第二次开始,成本就低得多。sync 会跳过两端已经一致的文件(比较大小和修改时间,或 MD5SUM),所以每天重跑也不必把所有数据再传一遍。
在客户环境里使用 GCS,无需打开浏览器做 OAuth 登录。配置 remote 时,rclone 允许指定一个服务账号凭据文件,适合无界面服务器或客户提供的机器。
客户需要的是对账报告
同步完成后,运行校验:
rclone check client-sftp:/exports dest-gcs:client-data/exports --combined reconciliation.txt
rclone check 比较源端和目标端的大小和哈希(MD5 或 SHA1),不改动任何一端。--combined 参数会写出一份 diff 风格的报告,每条路径一个符号:= 表示一致,+ 表示仅在源端,- 表示仅在目标端,* 表示两端都有但内容不同,! 表示出错。
假设某个目录有 1,000 个文件,报告显示 997 行 =、2 行 +、1 行 *。“已传输 999 个文件”听上去几乎完整,但报告会准确告诉你是哪三个文件需要处理、原因是什么。签收邮件里要附的就是这份报告,而不是截图。
两端的哈希各不相同
问题在于,check 的可靠程度取决于两端共有的哈希。本例中的三种存储处理哈希的方式差别很大:
| 后端 | 是否有哈希? | 对账时需要知道什么 |
|---|---|---|
| SFTP | 没有内置校验和 | 只有账号具备 shell 权限时才能计算;rclone 会尝试 md5sum、md5、rclone md5sum |
| S3 | 不一定有 | 分段上传时 ETag 不再是 MD5;rclone 会在元数据中存入自己的 MD5,但对大对象可以关闭此功能 |
| GCS | 有,原生存储 MD5 | 比较哈希无需额外步骤 |
对于 SFTP,rclone 会在远端机器上依次尝试这三条命令,用第一条能运行的。如果客户只提供 SFTP 账号、没有 shell,就没有哈希可比。这个问题要在需求调研阶段问清楚,再承诺任何对账。
对于 S3,分段上传的对象其 ETag 不是 MD5,rclone 只能依靠自己写进元数据的 MD5。如果对大对象关闭了这一功能,这些分段上传的对象就没有 MD5 可比。不要想当然地认为它存在。
两端没有共同的哈希时,rclone check --download 会直接比较数据内容,而不依赖哈希。这个参数留给无 shell 的 SFTP 到 S3 这类无法比较哈希的组合。
先学什么,简历上写什么
合理的学习顺序:声明 remote,用试运行跑 sync,读懂 --combined 报告,再弄清常用后端各自的哈希情况。最后一步不要跳过,它决定你的报告是否可信。
迁移客户数据时的常见错误:
- 不做试运行就直接
sync,而这条命令可能删除目标端文件。 - 以为 S3 的
ETag一定是 MD5,而分段上传恰恰打破了这一假设。 - 源端是 SFTP,却没先问账号有没有 shell 权限,就承诺基于哈希对账。
- 把 sync 无报错结束当作证据,而不再跑一遍
check。
简历上不要只写“将数据迁移到 GCS”。要写清你如何证明数据完整:基于哈希的对账、逐文件报告、发现并解决了多少处差异。
客户不会记得你搬数据有多快。他们记得的,是那个很久之后才被发现缺失的文件。
这篇文章对你有帮助吗?
感谢你的反馈!