FDE Times 数据在招 FDE 职位 8840 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

MLflow 帮 FDE 说清“线上跑的是哪个模型”

自动递增的版本号、别名和训练运行回溯,让 model_final_v2_fix.pkl 式命名退场,答案有据可查。

MLflow 示意图:用运行、版本和别名回答“线上跑的是哪个模型”。
分享微博

要点速览

  • 每次用已有名称注册模型,MLflow 都会自动递增版本号。
  • 别名是指向特定版本的名称,可以改指另一个版本,适合用来标记生产环境中的版本。
  • 每个版本都链接回产出它的运行或 notebook,因此可以把生产模型追溯到最初的实验。
三栏示意图。Tracking 栏包含 Run 1 到 Run 4,每次运行分别注册为 churn-model 的版本 1 到版本 4。客户的推理服务系统通过 models:/churn-model@champion 加载模型。champion 别名原先指向版本 2,现已移到版本 4;上线新版本只是移动指针,服务端代码不变。一条青色虚线从别名经版本 4 回溯到 Run 4。底部两张卡片总结:别名回答线上是哪个版本,回溯到运行的链接回答它为什么是这样。
champion 别名表明线上是哪个版本,从版本到运行的链接说明它为什么是这样。

在 MLflow Model Registry 中,每次用已存在的名称注册模型,版本号都会自动加一。这听起来是个小细节,却能解决客户现场任何机器学习项目里最尴尬的问题:“线上到底跑的是哪个模型?”

对前线部署工程师(FDE)来说,这个问题往往在最糟糕的时刻出现。本周的预测结果不对,客户想知道是不是有人刚换了模型。如果答案只存在于某位工程师的记忆里,或者藏在 model_final_v2_fix.pkl 这样的文件名里,你的信誉就在流失。

MLflow 不是你会学到的最光鲜的工具,但它是把“我觉得是这个”变成“就是这个,由这次运行产出,用的是这些参数”的最低成本方式。

MLflow 做两件事:记录和编号

MLflow 自称是面向 Agent、LLM 和机器学习模型的最大开源 AI 工程平台,采用 Apache 2.0 许可证发布。就本文而言,只有两个部分重要:Tracking 和 Model Registry。

Tracking 管理每个实验及其组成部分。每次训练都是一次运行(run),你记录它的参数和结果,之后就能直接比较不同运行,而不必回头翻 notebook。

MLflow 仪表盘会列出各个实验、实验中的运行,以及每次运行的指标、参数和产物(artifact)。

Model Registry 是下一步:一个中央存储,多人可以在这里共同管理模型的完整生命周期。这里有三个关键概念:自动递增的版本号、指向特定版本的别名,以及从每个版本链接回产出它的运行、已记录模型或 notebook。

一个例子:三个版本,一个“champion”

假设你在为一家电信公司构建客户流失预测模型。第一周,你用三组不同参数跑了三次实验。每次运行都连同评测指标和模型文件记录到仪表盘。

你把三个模型都注册在同一个名称 churn-model 下。注册表把它们编号为版本 1、2、3,无需你自己命名。版本 2 表现最好,于是你给它设置别名 champion,客户的推理服务系统始终通过这个别名加载模型,而不是通过版本号。

整个工作流只需几十行 Python。下面的示例演示一次运行,假设你已经有训练数据和测试数据:

import mlflow
from mlflow import MlflowClient
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score

# 1. 记录一次运行:参数、指标和模型本身
with mlflow.start_run():
    model = LogisticRegression(C=0.5).fit(X_train, y_train)
    auc = roc_auc_score(y_test, model.predict_proba(X_test)[:, 1])
    mlflow.log_param("C", 0.5)
    mlflow.log_metric("auc", auc)
    info = mlflow.sklearn.log_model(model, "model")

# 2. 注册到注册表:名称相同,版本号自动递增
mv = mlflow.register_model(info.model_uri, "churn-model")

# 3. 给选中的版本设置别名
MlflowClient().set_registered_model_alias("churn-model", "champion", mv.version)

# 4. 服务端只认别名,不关心版本号
live_model = mlflow.pyfunc.load_model("models:/churn-model@champion")

(注释含义:1. 记录一次运行,包括参数、指标和模型本身;2. 注册模型,名称相同则版本号递增;3. 给选中的版本设置别名;4. 服务端只知道别名,不知道版本号。)

两周后,你用新数据重新训练,得到版本 4。评测之后,只需对版本 4 重复第 3 步。MLflow 文档把别名称为“可变”(mutable)引用,即可以改指另一个版本,因此上线新版本只是移动一个指针,第 4 步的那行代码保持不变。

这时客户问:“线上跑的是哪个模型?”你打开注册表:champion 指向版本 4,版本 4 链接回产出它的运行,里面有完整的参数和指标。如果需要回滚,版本 2 还在,保存下来的实验也能让你不靠猜测就复现旧结果。

FDE 什么时候该把 MLflow 带给客户?

有两个特性让 MLflow 适合部署工作。第一是中立:MLflow 表示它能与你已在使用的任何云、框架或工具配合。如果客户已经选定了基础设施,你不必说服他们更换。

第二是可以自托管。你可以在自己的服务器和数据库上运行 MLflow,没有第三方限制,也没有存储费用。对数据敏感的客户来说,能把一切留在自己的基础设施内很可能是决定性因素,值得在客户需求调研阶段明确问清楚。

合理的引入时机是项目里不止一个人在训练模型时,或者第一次部署之前。等出了问题再搭注册表,旧版本早已无迹可寻。

MLflow 替你做不了什么

MLflow 只记录你让它记录的内容。如果数据管道没有在运行中记录数据版本或预处理步骤,从版本回溯到运行得到的就是一幅不完整的图景,你仍然无法复现结果。

别名也只是一个指针。谁有权移动 champion、移动前必须通过哪些检查,是你需要和客户约定的流程。MLflow 的 GitHub 仓库提到了评测功能,可以在回归问题进入生产环境前发现它们,但每次上线前是否运行,取决于团队纪律,工具不会强制执行。

自托管也有代价。MLflow 服务器和数据库成了又一个需要有人运维、备份和管理权限的系统。

先学什么,以及怎么写进简历

合理的顺序是先学 Tracking,再学 Registry。先习惯每次训练都成为一次带参数、指标和产物的运行,再学习注册版本和设置别名。LLM 和 Agent 相关功能可以等你熟悉传统模型的生命周期之后再学。

阅读 FDE 或机器学习工程师岗位的职位描述时,留意“experiment tracking”“model registry”“reproducibility”这类说法。在简历上,不要只是把“MLflow”加进技能列表。

要写清你如何用别名标记生产版本,以及如何把一次事故追溯到最初的运行。这样一句话能说明你理解这个工具解决的问题,而不只是知道它的名字。

好模型能帮你赢下演示。清晰的注册表,才能在客户第二次问“刚才改了什么?”时守住信任。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 5: 部署上线vLLM 快 24 倍还是 2-4 倍?关键看基线24 倍以 HuggingFace Transformers 为基线,对已有像样推理服务的客户引用它,就是过度承诺。