FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

数据搬完不等于全部到齐,用 rclone check 对账

一个命令行工具同步 SFTP、S3 和 GCS,还能逐文件出对账报告,前提是摸清两端如何处理哈希。

分享微博

要点速览

  • rclone sync 让目标端与源端完全一致,可能删除数据,务必先跑 --dry-run
  • rclone check 比较大小和哈希,不改动任何一端;--combined 输出逐文件报告
  • SFTP 没有内置校验和,S3 分段上传的 ETag 不是 MD5,GCS 原生存储 MD5
1,000 个文件的比例堆叠条:997 个一致的文件为浅蓝色,末端有一条极细的橙色。放大最后 10 个文件后,可见 7 格标为 =,2 格标为 +(仅在源端),1 格标为 *(内容不一致),后三格为橙色。
在这个 1,000 个文件的示例中,rclone check --combined 指出每个需要处理的文件,而不只给出一个总数。来源:文中的示例,报告符号取自 rclone 文档中 --combined 的说明。

签收时最难回答的问题,很少是“传输完成了吗?”,而是“你怎么知道没有漏文件?”

假如你拿出的答案是一张文件数量截图,客户从中看不出哪些文件一致、哪些不一致。rclone 能给出更好的答案:一条命令,生成覆盖每条路径的对账报告。

rclone 是 Nick Craig-Wood 开发的命令行程序,采用 MIT 许可证,可在众多云存储服务之间同步文件和目录。项目主页在核心功能中列出了两点:始终校验 MD5 和 SHA1 哈希以确保完整性;通过比较哈希找出缺失或多余的文件。

对前线部署工程师(FDE)来说,这恰恰是工作中容易被低估的部分。客户数据经 SFTP 传来,落到 S3 或 GCS,下游的一切(数据管道、模型、看板)是否可信,取决于这第一次传输。

同步命令可能删除数据

设想一家物流客户每天把导出文件放到 SFTP 服务器上,而你的系统从 GCS bucket 读取数据。声明好两个 remote(不妨叫 client-sftp 和 dest-gcs)后,基本命令如下:

rclone sync client-sftp:/exports dest-gcs:client-data/exports --dry-run

rclone sync 让目标端与源端保持一致,也就是说,目标端有而源端没有的文件可能被删除。官方文档明确指出这可能导致数据丢失,建议先用 --dry-run 或 --interactive/-i 测试。把它养成条件反射:第一次永远是试运行,读完输出,再去掉这个参数。

从第二次开始,成本就低得多。sync 会跳过两端已经一致的文件(比较大小和修改时间,或 MD5SUM),所以每天重跑也不必把所有数据再传一遍。

在客户环境里使用 GCS,无需打开浏览器做 OAuth 登录。配置 remote 时,rclone 允许指定一个服务账号凭据文件,适合无界面服务器或客户提供的机器。

客户需要的是对账报告

同步完成后,运行校验:

rclone check client-sftp:/exports dest-gcs:client-data/exports --combined reconciliation.txt

rclone check 比较源端和目标端的大小和哈希(MD5 或 SHA1),不改动任何一端。--combined 参数会写出一份 diff 风格的报告,每条路径一个符号:= 表示一致,+ 表示仅在源端,- 表示仅在目标端,* 表示两端都有但内容不同,! 表示出错。

假设某个目录有 1,000 个文件,报告显示 997 行 =、2 行 +、1 行 *。“已传输 999 个文件”听上去几乎完整,但报告会准确告诉你是哪三个文件需要处理、原因是什么。签收邮件里要附的就是这份报告,而不是截图。

两端的哈希各不相同

问题在于,check 的可靠程度取决于两端共有的哈希。本例中的三种存储处理哈希的方式差别很大:

后端 是否有哈希? 对账时需要知道什么
SFTP 没有内置校验和 只有账号具备 shell 权限时才能计算;rclone 会尝试 md5sum、md5、rclone md5sum
S3 不一定有 分段上传时 ETag 不再是 MD5;rclone 会在元数据中存入自己的 MD5,但对大对象可以关闭此功能
GCS 有,原生存储 MD5 比较哈希无需额外步骤

对于 SFTP,rclone 会在远端机器上依次尝试这三条命令,用第一条能运行的。如果客户只提供 SFTP 账号、没有 shell,就没有哈希可比。这个问题要在需求调研阶段问清楚,再承诺任何对账。

对于 S3,分段上传的对象其 ETag 不是 MD5,rclone 只能依靠自己写进元数据的 MD5。如果对大对象关闭了这一功能,这些分段上传的对象就没有 MD5 可比。不要想当然地认为它存在。

两端没有共同的哈希时,rclone check --download 会直接比较数据内容,而不依赖哈希。这个参数留给无 shell 的 SFTP 到 S3 这类无法比较哈希的组合。

先学什么,简历上写什么

合理的学习顺序:声明 remote,用试运行跑 sync,读懂 --combined 报告,再弄清常用后端各自的哈希情况。最后一步不要跳过,它决定你的报告是否可信。

迁移客户数据时的常见错误:

  • 不做试运行就直接 sync,而这条命令可能删除目标端文件。
  • 以为 S3 的 ETag 一定是 MD5,而分段上传恰恰打破了这一假设。
  • 源端是 SFTP,却没先问账号有没有 shell 权限,就承诺基于哈希对账。
  • 把 sync 无报错结束当作证据,而不再跑一遍 check。

简历上不要只写“将数据迁移到 GCS”。要写清你如何证明数据完整:基于哈希的对账、逐文件报告、发现并解决了多少处差异。

客户不会记得你搬数据有多快。他们记得的,是那个很久之后才被发现缺失的文件。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 5: 部署上线IT 不开端口,Cloudflare Tunnel 本周照样试用连接只出不进,安全团队更容易点头,但主机名在挂上 Access 策略之前对整个互联网敞开。