# Chuyển xong dữ liệu của khách chưa đủ, rclone check mới là bằng chứng

> Một công cụ dòng lệnh vừa đồng bộ SFTP, S3, GCS vừa xuất báo cáo đối chiếu từng file, miễn bạn hiểu hash ở mỗi đầu.

Bản gốc: https://fdetimes.net/vi/cong-cu/rclone-chuyen-du-lieu-cua-khach-len-s3-gcs-co-kiem-checksum/

Ở buổi nghiệm thu, câu hỏi khó nhất thường không phải "đã chuyển xong chưa" mà là "làm sao anh biết không mất file nào".

Thử hình dung câu trả lời chỉ là một ảnh chụp màn hình đếm số file: nó không cho khách biết file nào khớp, file nào không. rclone cho bạn một câu trả lời tốt hơn: một báo cáo đối chiếu từng đường dẫn, sinh ra từ đúng một lệnh.

rclone là chương trình dòng lệnh của Nick Craig-Wood, phát hành theo giấy phép MIT, dùng để đồng bộ file và thư mục giữa nhiều nhà cung cấp lưu trữ cloud. Trang chủ của dự án coi hai thứ là tính năng lõi: luôn kiểm tra hash MD5, SHA1 để đảm bảo toàn vẹn, và so hash để tìm file thiếu hoặc thừa.

Với FDE, đó chính là phần việc hay bị xem nhẹ. Dữ liệu khách đến từ SFTP, đi vào S3 hoặc GCS, và mọi bước sau đó (pipeline, model, dashboard) chỉ đáng tin bằng lượt chuyển đầu tiên này.

## Một lệnh sync có thể xoá dữ liệu

Thử hình dung một khách hàng logistics để file export hằng ngày trên server SFTP, còn hệ thống của bạn đọc từ bucket GCS. Sau khi khai báo hai remote, tạm gọi là `khach-sftp` và `dich-gcs`, lệnh cơ bản trông như sau:

```bash
rclone sync khach-sftp:/exports dich-gcs:khach-data/exports --dry-run
```

`rclone sync` làm cho đích khớp với nguồn, nghĩa là file nào có ở đích mà không có ở nguồn có thể bị xoá. Tài liệu chính thức nói thẳng việc này có thể gây mất dữ liệu và khuyên chạy thử bằng `--dry-run` hoặc `--interactive`/`-i` trước. Hãy biến nó thành phản xạ: lượt đầu luôn là dry-run, đọc kết quả, rồi mới bỏ cờ.

Lần chạy thứ hai trở đi rẻ hơn nhiều. Sync bỏ qua các file đã giống nhau ở hai đầu, so bằng kích thước và thời gian sửa đổi hoặc MD5SUM, nên bạn có thể chạy lại hằng ngày mà không chuyển lại toàn bộ.

Với GCS trong môi trường của khách, bạn không cần mở trình duyệt để đăng nhập OAuth. Khi cấu hình remote, rclone cho phép trỏ tới file credentials của service account, phù hợp với máy chủ không có giao diện hoặc máy do khách cấp.

## Báo cáo đối chiếu mới là thứ khách cần

Sau khi sync, chạy lệnh kiểm tra:

```bash
rclone check khach-sftp:/exports dich-gcs:khach-data/exports --combined doi-chieu.txt
```

`rclone check` so kích thước và hash (MD5 hoặc SHA1) giữa nguồn và đích, và không thay đổi bên nào. Cờ `--combined` ghi ra một báo cáo kiểu diff, mỗi đường dẫn một ký hiệu: `=` là giống nhau, `+` chỉ có ở nguồn, `-` chỉ có ở đích, `*` có ở cả hai nhưng khác nhau, `!` là lỗi.

Giả sử thư mục có 1.000 file và báo cáo ra 997 dòng `=`, 2 dòng `+` và 1 dòng `*`. Con số "đã chuyển 999 file" nghe gần đủ, nhưng báo cáo cho bạn biết chính xác ba file nào cần xử lý và vì sao. Đó là thứ bạn đính kèm vào email nghiệm thu, không phải ảnh chụp màn hình.

**Điểm mấu chốt:** Chuyển dữ liệu xong chưa phải là xong; đối chiếu được từng file mới là xong.

## Hash ở mỗi đầu không giống nhau

Cái bẫy nằm ở chỗ `check` chỉ mạnh bằng hash mà hai đầu cùng có. Ba loại lưu trữ trong ví dụ này xử lý hash rất khác nhau:

| Backend | Hash có sẵn? | Điều cần biết khi đối chiếu |
|---|---|---|
| SFTP | Không có checksum sẵn | Chỉ tính được nếu tài khoản có quyền shell; rclone thử `md5sum`, `md5`, `rclone md5sum` |
| S3 | Không chắc chắn | Với upload multipart, `ETag` không còn là MD5; rclone lưu MD5 riêng vào metadata, có thể tắt với object lớn |
| GCS | Có, MD5 lưu sẵn | So hash không cần bước nào thêm |

Với SFTP, rclone lần lượt thử ba lệnh trên máy từ xa rồi dùng lệnh đầu tiên chạy được. Nếu khách chỉ cấp tài khoản SFTP không có shell, sẽ không có hash để so. Đây là câu hỏi nên đặt ngay trong buổi discovery, trước khi hứa hẹn chuyện đối chiếu.

Với S3, object được upload multipart có `ETag` không phải MD5, nên rclone phải dựa vào MD5 nó tự ghi vào metadata. Nếu tính năng đó bị tắt cho object lớn, những object multipart ấy sẽ không có MD5 để so. Đừng mặc định là có.

Khi hai đầu không có hash chung, `rclone check --download` so trực tiếp nội dung dữ liệu thay vì dựa vào hash. Hãy dành cờ này cho những cặp như SFTP không shell sang S3, nơi so hash không làm được.

## Học gì trước, và ghi gì vào CV

Thứ tự hợp lý là: khai báo remote, chạy sync với dry-run, đọc báo cáo `--combined`, rồi tìm hiểu bảng hash của từng backend bạn hay gặp. Đừng bỏ qua bước cuối, vì chính nó quyết định báo cáo của bạn có đáng tin hay không.

Các lỗi hay gặp khi chuyển dữ liệu của khách:

- Chạy `sync` thẳng mà không dry-run, trong khi lệnh này có thể xoá file ở đích.
- Tin rằng `ETag` của S3 luôn là MD5, trong khi upload multipart phá vỡ giả định đó.
- Hứa đối chiếu theo hash với nguồn SFTP khi chưa hỏi tài khoản có quyền shell hay không.
- Coi một lượt sync chạy không báo lỗi là bằng chứng, thay vì chạy thêm `check`.

Trong CV, đừng chỉ ghi "chuyển dữ liệu sang GCS". Hãy ghi bạn đã chứng minh tính đầy đủ thế nào: đối chiếu theo hash, báo cáo từng file, số chênh lệch tìm ra và đã xử lý.

Khách không nhớ bạn chuyển dữ liệu nhanh đến đâu. Họ nhớ cái file bị thiếu mà mãi về sau mới có người phát hiện ra.

**Thử ngay tuần này:**

- Cài rclone, khai báo hai remote thử (một thư mục local và một bucket GCS dùng service account), rồi chạy sync với --dry-run
- Cố tình sửa một file và xoá một file ở đích, chạy rclone check --combined rồi đọc từng ký hiệu trong báo cáo
- Viết một dòng CV mô tả lần chuyển dữ liệu gần nhất của bạn kèm cách bạn chứng minh nó đủ và đúng

## Nguồn

- [Rclone (rclone.org)](https://rclone.org/)

- [rclone/rclone (GitHub)](https://github.com/rclone/rclone)

- [rclone sync](https://rclone.org/commands/rclone_sync/)

- [rclone check](https://rclone.org/commands/rclone_check/)

- [SFTP (rclone docs)](https://rclone.org/sftp/)

- [Amazon S3 (rclone docs)](https://rclone.org/s3/)

- [Google Cloud Storage (rclone docs)](https://rclone.org/googlecloudstorage/)
