FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

DVC 实战:让客户每批新数据都对应一次可追溯的提交

客户问上个月的模型用了哪份数据,FDE 应该拿出提交哈希,而不是凭记忆回答。

分享微博

要点速览

  • Git 里只存一个小小的 .dvc 文件,内含 MD5 哈希、大小和文件数。真正的数据放在 S3 等远程存储上。
  • 每次运行 git checkout,都要接着运行 dvc checkout,让数据与代码保持一致。
  • dvc repro 会跳过没有变化的阶段。把 dvc.lock 提交到 Git,就能锁定一次可复现的运行。
DVC 工作流示意图。Git 泳道中,“第 1 周”和“第 2 周”两次提交先后排列,每次提交都包含一个 data.xml.dvc 文件,第二次的 MD5 已经改变。每次提交都有一条“dvc push”箭头向下指向远程存储泳道(S3、Azure、GCS、SSH,经客户认可),其中存放第 1 周和第 2 周的真实数据。右侧高亮框说明如何回退到旧模型的数据:git checkout 把 .dvc 文件恢复到旧版本,再用 dvc checkout 把真实数据拉回对应版本。两条命令必须一起运行。
Git 只保存带 MD5 哈希的 .dvc 文件,真实数据放在客户认可的远程存储上。要复现旧模型,先运行 git checkout,再运行 dvc checkout。

周一,客户发来本周的数据文件。周三,又发来一份“修正版”。到了周五,新模型效果变差,会上的第一个问题是:生产环境的模型到底是用哪个版本训练的?

如果你的回答是“应该是周三那份”,客户对你的信任就已经打了折扣。前线部署工程师(FDE)在现场部署机器学习时经常遇到这种情况。数据一直在变,代码在 Git 里,数据却往往躺在某个文件夹里,名字类似 final_v3_new.csv(“最终 v3 新版”)。

本指南介绍一套用 DVC 搭建的工作流,一个晚上就能在笔记本电脑上配好。DVC 官网把它的理念概括为像管理代码一样管理数据,Get Started 文档更是直接称它为“数据的 Git”。

要做出什么,需要先准备什么?

假设有一家零售客户,每周发来一个 data/data.xml 文件。这个练习有三个目标:每批数据对应一次 Git 提交;真实数据存放在客户认可的存储中;需要时可以随时找回任意一批数据。

你需要安装 Git 和 DVC,并按照 Get Started 页面的说明,把一个 Git 仓库初始化为 DVC 仓库。敲命令之前,先理解一点:严格来说,DVC 本身并不是版本控制系统。历史记录交给 Git 管理,生效的数据版本由 .dvc 文件的内容决定。

第 1–2 步:把第一批数据变成一次提交

把文件加入 DVC:

dvc add data/data.xml

DVC 会生成一个元数据文件 data/data.xml.dvc。打开看看:里面记录了大小、文件数,以及最关键的 MD5 哈希。这个哈希就是数据版本的标识。

接着把元数据文件提交到 Git,而不是提交数据本身:


git add data/data.xml.dvc

git commit -m "Client data: week 1 drop"

(这条提交信息的意思是“客户数据:第 1 周批次”。)从这一步起,数据的元数据就和源代码一起留在 Git 历史里。上面的示例做了精简。运行 dvc add 时,请留意 DVC 的输出,它可能会提示你再 git add 其他文件。

第 3 步:把数据放到客户允许的地方

Git 里只有一个小文件,那真实数据放在哪里?DVC 使用远程存储(remote)来存放数据和模型,支持 S3、Azure、GCS、SSH 等多种类型。这一点对 FDE 很重要,因为数据能放在哪里,通常由客户决定。

dvc remote add myremote s3://mybucket
dvc push

dvc push 会把缓存中的数据上传到配置好的远程存储。这是一个简化示例。为客户配置真实的远程存储之前,请仔细阅读 DVC 文档中的 Remote Storage 页面。

验证是否成功:打开存储桶,应该能看到刚刚推送的数据。如果客户只允许通过 SSH 使用内部服务器,改的是远程存储的 URL,工作流不变。

第 4 步:第二批数据到了

客户发来了新版本。覆盖原文件,再走一遍同样的流程:


dvc add data/data.xml

git add data/data.xml.dvc

git commit -m "Client data: week 2 drop"

dvc push

再次打开 data/data.xml.dvc,和上一次提交对比,MD5 已经变了。如果客户说“这版和上周完全一样”,哈希却不同,你就在模型出问题之前抓到了一次悄无声息的改动。

第 5 步:回到旧模型所用的确切数据

回到周五会上的那个问题。用 git log 找到生产模型对应的提交,然后检出。下面示例中的 a1b2c3d 只是示意用的哈希,请换成你仓库里的真实哈希:

git checkout a1b2c3d
dvc checkout

有一条规则值得记牢:每次运行 git checkout,都要接着运行 dvc checkout。原因前面已经提过:DVC 自己不保存历史,历史在 Git 里,而 Git 只知道 .dvc 文件。所以第一条命令只会还原 .dvc 文件,第二条命令才会把工作目录中的数据恢复到该文件指向的版本。

等待时间取决于数据量。数据集很大时,先自己实测,再向客户承诺具体时间。

第 6 步:只重新训练需要重训的部分

要让 dvc repro 有事可做,仓库里得有一条流水线。下面是一个最小的 dvc.yaml,只有一个名为 filter 的阶段:读取客户数据,输出过滤后的文件。这是一个简化示例:filter.py 是你自己编写的脚本,完整的 dvc.yaml 语法见 DVC 文档。

stages:
  filter:
    cmd: python filter.py
    deps:
      - data/data.xml
      - filter.py
    outs:
      - data/filtered.csv

DVC 流水线的工作方式类似构建系统。运行:

dvc repro

DVC 只重跑输入有变化的阶段,其余阶段会输出类似 “Stage ‘filter’ didn’t change, skipping” 的信息。现在就试一下:连续运行两次 dvc repro,第二次会跳过 filter。然后 dvc add 一批新数据再运行,这个阶段就会真正执行。

每次运行后,有变化的依赖和输出的哈希都会写入 dvc.lock。把这个文件提交到 Git,因为它锁定了一次可复现运行的流水线状态。熟悉单个阶段之后,可以按同样的模式加入特征构建和训练阶段。

常见错误

最常见的错误是只运行 git checkout 就开始训练,而 data/ 文件夹里还是最新版本的数据。你以为复现出来的“旧”模型,其实是用旧代码训练出的新模型。

第二个错误是提交了 .dvc 文件,却忘了 dvc push。同事或客户的服务器拿到了提交,却拿不到对应的数据。要把 git commit 和 dvc push 当作不可拆分的一对操作。

第三个错误是不提交 dvc.lock。这样数据虽然有了版本,却无法证明哪次训练用了哪些输入。

这项技能在客户现场是什么样子?

在现场,DVC 的价值不在命令本身,而在于它让你给得出答案。客户问这周的模型为什么和上周不一样时,你可以拿出两次提交、两个 MD5 哈希,以及每次运行各自的 dvc.lock。讨论就从凭感觉变成了看证据。

新项目要做的第一件事:问清客户数据允许存放在哪里,在第一批数据到来之前据此选好远程存储。等手上已经有三个“最终版”再搭工作流,就难多了。

对于正在转向 FDE 岗位的越南开发者,可以留意那些提到“reproducibility”(可复现性)、“data versioning”(数据版本管理)或“MLOps at client sites”(客户现场的 MLOps)的岗位描述。简历上写一句“用 DVC 在 S3 上为 12 批客户数据做版本管理,可从任一提交复现任意模型”,比罗列一串工具更有说服力。

客户总会发来更多数据。唯一的问题是:到了第十批,你是否还清楚哪个模型学的是哪个版本。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 5: 部署上线让评审一眼看出 PR 有没有拖累模型借助 CML,一个工作流文件加三个 Python 脚本,就能让每个 PR 自动评论指标和图表。