# DVC 实战：让客户每批新数据都对应一次可追溯的提交

> 客户问上个月的模型用了哪份数据，FDE 应该拿出提交哈希，而不是凭记忆回答。

原文: https://fdetimes.net/zh/guides/dvc-version-client-data-batches/

周一，客户发来本周的数据文件。周三，又发来一份“修正版”。到了周五，新模型效果变差，会上的第一个问题是：生产环境的模型到底是用哪个版本训练的？

如果你的回答是“应该是周三那份”，客户对你的信任就已经打了折扣。前线部署工程师（FDE）在现场部署机器学习时经常遇到这种情况。数据一直在变，代码在 Git 里，数据却往往躺在某个文件夹里，名字类似 `final_v3_new.csv`（“最终 v3 新版”）。

本指南介绍一套用 DVC 搭建的工作流，一个晚上就能在笔记本电脑上配好。DVC 官网把它的理念概括为像管理代码一样管理数据，Get Started 文档更是直接称它为“数据的 Git”。

## 要做出什么，需要先准备什么？

假设有一家零售客户，每周发来一个 `data/data.xml` 文件。这个练习有三个目标：每批数据对应一次 Git 提交；真实数据存放在客户认可的存储中；需要时可以随时找回任意一批数据。

你需要安装 Git 和 DVC，并按照 Get Started 页面的说明，把一个 Git 仓库初始化为 DVC 仓库。敲命令之前，先理解一点：严格来说，DVC 本身并不是版本控制系统。历史记录交给 Git 管理，生效的数据版本由 `.dvc` 文件的内容决定。

## 第 1–2 步：把第一批数据变成一次提交

把文件加入 DVC：

```bash
dvc add data/data.xml
```

DVC 会生成一个元数据文件 `data/data.xml.dvc`。打开看看：里面记录了大小、文件数，以及最关键的 MD5 哈希。这个哈希就是数据版本的标识。

接着把元数据文件提交到 Git，而不是提交数据本身：

```bash

git add data/data.xml.dvc

git commit -m "Client data: week 1 drop"

```

（这条提交信息的意思是“客户数据：第 1 周批次”。）从这一步起，数据的元数据就和源代码一起留在 Git 历史里。上面的示例做了精简。运行 `dvc add` 时，请留意 DVC 的输出，它可能会提示你再 `git add` 其他文件。

## 第 3 步：把数据放到客户允许的地方

Git 里只有一个小文件，那真实数据放在哪里？DVC 使用远程存储（remote）来存放数据和模型，支持 S3、Azure、GCS、SSH 等多种类型。这一点对 FDE 很重要，因为数据能放在哪里，通常由客户决定。

```bash
dvc remote add myremote s3://mybucket
dvc push
```

`dvc push` 会把缓存中的数据上传到配置好的远程存储。这是一个简化示例。为客户配置真实的远程存储之前，请仔细阅读 DVC 文档中的 Remote Storage 页面。

验证是否成功：打开存储桶，应该能看到刚刚推送的数据。如果客户只允许通过 SSH 使用内部服务器，改的是远程存储的 URL，工作流不变。

## 第 4 步：第二批数据到了

客户发来了新版本。覆盖原文件，再走一遍同样的流程：

```bash

dvc add data/data.xml

git add data/data.xml.dvc

git commit -m "Client data: week 2 drop"

dvc push

```

再次打开 `data/data.xml.dvc`，和上一次提交对比，MD5 已经变了。如果客户说“这版和上周完全一样”，哈希却不同，你就在模型出问题之前抓到了一次悄无声息的改动。

**要点:** .dvc 文件里的哈希是证据，工程师的记忆不是。

## 第 5 步：回到旧模型所用的确切数据

回到周五会上的那个问题。用 `git log` 找到生产模型对应的提交，然后检出。下面示例中的 `a1b2c3d` 只是示意用的哈希，请换成你仓库里的真实哈希：

```bash
git checkout a1b2c3d
dvc checkout
```

有一条规则值得记牢：每次运行 `git checkout`，都要接着运行 `dvc checkout`。原因前面已经提过：DVC 自己不保存历史，历史在 Git 里，而 Git 只知道 `.dvc` 文件。所以第一条命令只会还原 `.dvc` 文件，第二条命令才会把工作目录中的数据恢复到该文件指向的版本。

等待时间取决于数据量。数据集很大时，先自己实测，再向客户承诺具体时间。

## 第 6 步：只重新训练需要重训的部分

要让 `dvc repro` 有事可做，仓库里得有一条流水线。下面是一个最小的 `dvc.yaml`，只有一个名为 `filter` 的阶段：读取客户数据，输出过滤后的文件。这是一个简化示例：`filter.py` 是你自己编写的脚本，完整的 `dvc.yaml` 语法见 DVC 文档。

```yaml
stages:
  filter:
    cmd: python filter.py
    deps:
      - data/data.xml
      - filter.py
    outs:
      - data/filtered.csv
```

DVC 流水线的工作方式类似构建系统。运行：

```bash
dvc repro
```

DVC 只重跑输入有变化的阶段，其余阶段会输出类似 “Stage 'filter' didn't change, skipping” 的信息。现在就试一下：连续运行两次 `dvc repro`，第二次会跳过 `filter`。然后 `dvc add` 一批新数据再运行，这个阶段就会真正执行。

每次运行后，有变化的依赖和输出的哈希都会写入 `dvc.lock`。把这个文件提交到 Git，因为它锁定了一次可复现运行的流水线状态。熟悉单个阶段之后，可以按同样的模式加入特征构建和训练阶段。

## 常见错误

最常见的错误是只运行 `git checkout` 就开始训练，而 `data/` 文件夹里还是最新版本的数据。你以为复现出来的“旧”模型，其实是用旧代码训练出的新模型。

第二个错误是提交了 `.dvc` 文件，却忘了 `dvc push`。同事或客户的服务器拿到了提交，却拿不到对应的数据。要把 `git commit` 和 `dvc push` 当作不可拆分的一对操作。

第三个错误是不提交 `dvc.lock`。这样数据虽然有了版本，却无法证明哪次训练用了哪些输入。

## 这项技能在客户现场是什么样子？

在现场，DVC 的价值不在命令本身，而在于它让你给得出答案。客户问这周的模型为什么和上周不一样时，你可以拿出两次提交、两个 MD5 哈希，以及每次运行各自的 `dvc.lock`。讨论就从凭感觉变成了看证据。

新项目要做的第一件事：问清客户数据允许存放在哪里，在第一批数据到来之前据此选好远程存储。等手上已经有三个“最终版”再搭工作流，就难多了。

对于正在转向 FDE 岗位的越南开发者，可以留意那些提到“reproducibility”（可复现性）、“data versioning”（数据版本管理）或“MLOps at client sites”（客户现场的 MLOps）的岗位描述。简历上写一句“用 DVC 在 S3 上为 12 批客户数据做版本管理，可从任一提交复现任意模型”，比罗列一串工具更有说服力。

客户总会发来更多数据。唯一的问题是：到了第十批，你是否还清楚哪个模型学的是哪个版本。

**本周动手试试:**

- 找一个公开数据集，拆成 3 个模拟的“交付批次”，每批都用 dvc add + git commit 提交一次。
- 检出第一个批次，运行 dvc checkout，确认 .dvc 文件中的 MD5 与该提交一致。
- 在简历上加一条具体描述：你为多少批数据做了版本管理，用的是哪类远程存储，以及如何复现了一次旧的训练运行。

## 信源

- [DVC](https://dvc.org/)

- [Get Started with DVC](https://doc.dvc.org/start)

- [Data Versioning (DVC Get Started)](https://doc.dvc.org/start/data-management/data-versioning)

- [Remote Storage (DVC User Guide)](https://doc.dvc.org/user-guide/data-management/remote-storage)

- [The Complete Guide to Data Version Control With DVC](https://www.datacamp.com/tutorial/data-version-control-dvc)

- [dvc repro (DVC Command Reference)](https://doc.dvc.org/command-reference/repro)

- [Git](https://git-scm.com/)
