MLflow 帮 FDE 说清“线上跑的是哪个模型”
自动递增的版本号、别名和训练运行回溯,让 model_final_v2_fix.pkl 式命名退场,答案有据可查。

要点速览
- 每次用已有名称注册模型,MLflow 都会自动递增版本号。
- 别名是指向特定版本的名称,可以改指另一个版本,适合用来标记生产环境中的版本。
- 每个版本都链接回产出它的运行或 notebook,因此可以把生产模型追溯到最初的实验。
在 MLflow Model Registry 中,每次用已存在的名称注册模型,版本号都会自动加一。这听起来是个小细节,却能解决客户现场任何机器学习项目里最尴尬的问题:“线上到底跑的是哪个模型?”
对前线部署工程师(FDE)来说,这个问题往往在最糟糕的时刻出现。本周的预测结果不对,客户想知道是不是有人刚换了模型。如果答案只存在于某位工程师的记忆里,或者藏在 model_final_v2_fix.pkl 这样的文件名里,你的信誉就在流失。
MLflow 不是你会学到的最光鲜的工具,但它是把“我觉得是这个”变成“就是这个,由这次运行产出,用的是这些参数”的最低成本方式。
MLflow 做两件事:记录和编号
MLflow 自称是面向 Agent、LLM 和机器学习模型的最大开源 AI 工程平台,采用 Apache 2.0 许可证发布。就本文而言,只有两个部分重要:Tracking 和 Model Registry。
Tracking 管理每个实验及其组成部分。每次训练都是一次运行(run),你记录它的参数和结果,之后就能直接比较不同运行,而不必回头翻 notebook。
MLflow 仪表盘会列出各个实验、实验中的运行,以及每次运行的指标、参数和产物(artifact)。
Model Registry 是下一步:一个中央存储,多人可以在这里共同管理模型的完整生命周期。这里有三个关键概念:自动递增的版本号、指向特定版本的别名,以及从每个版本链接回产出它的运行、已记录模型或 notebook。
一个例子:三个版本,一个“champion”
假设你在为一家电信公司构建客户流失预测模型。第一周,你用三组不同参数跑了三次实验。每次运行都连同评测指标和模型文件记录到仪表盘。
你把三个模型都注册在同一个名称 churn-model 下。注册表把它们编号为版本 1、2、3,无需你自己命名。版本 2 表现最好,于是你给它设置别名 champion,客户的推理服务系统始终通过这个别名加载模型,而不是通过版本号。
整个工作流只需几十行 Python。下面的示例演示一次运行,假设你已经有训练数据和测试数据:
import mlflow
from mlflow import MlflowClient
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score
# 1. 记录一次运行:参数、指标和模型本身
with mlflow.start_run():
model = LogisticRegression(C=0.5).fit(X_train, y_train)
auc = roc_auc_score(y_test, model.predict_proba(X_test)[:, 1])
mlflow.log_param("C", 0.5)
mlflow.log_metric("auc", auc)
info = mlflow.sklearn.log_model(model, "model")
# 2. 注册到注册表:名称相同,版本号自动递增
mv = mlflow.register_model(info.model_uri, "churn-model")
# 3. 给选中的版本设置别名
MlflowClient().set_registered_model_alias("churn-model", "champion", mv.version)
# 4. 服务端只认别名,不关心版本号
live_model = mlflow.pyfunc.load_model("models:/churn-model@champion")
(注释含义:1. 记录一次运行,包括参数、指标和模型本身;2. 注册模型,名称相同则版本号递增;3. 给选中的版本设置别名;4. 服务端只知道别名,不知道版本号。)
两周后,你用新数据重新训练,得到版本 4。评测之后,只需对版本 4 重复第 3 步。MLflow 文档把别名称为“可变”(mutable)引用,即可以改指另一个版本,因此上线新版本只是移动一个指针,第 4 步的那行代码保持不变。
这时客户问:“线上跑的是哪个模型?”你打开注册表:champion 指向版本 4,版本 4 链接回产出它的运行,里面有完整的参数和指标。如果需要回滚,版本 2 还在,保存下来的实验也能让你不靠猜测就复现旧结果。
FDE 什么时候该把 MLflow 带给客户?
有两个特性让 MLflow 适合部署工作。第一是中立:MLflow 表示它能与你已在使用的任何云、框架或工具配合。如果客户已经选定了基础设施,你不必说服他们更换。
第二是可以自托管。你可以在自己的服务器和数据库上运行 MLflow,没有第三方限制,也没有存储费用。对数据敏感的客户来说,能把一切留在自己的基础设施内很可能是决定性因素,值得在客户需求调研阶段明确问清楚。
合理的引入时机是项目里不止一个人在训练模型时,或者第一次部署之前。等出了问题再搭注册表,旧版本早已无迹可寻。
MLflow 替你做不了什么
MLflow 只记录你让它记录的内容。如果数据管道没有在运行中记录数据版本或预处理步骤,从版本回溯到运行得到的就是一幅不完整的图景,你仍然无法复现结果。
别名也只是一个指针。谁有权移动 champion、移动前必须通过哪些检查,是你需要和客户约定的流程。MLflow 的 GitHub 仓库提到了评测功能,可以在回归问题进入生产环境前发现它们,但每次上线前是否运行,取决于团队纪律,工具不会强制执行。
自托管也有代价。MLflow 服务器和数据库成了又一个需要有人运维、备份和管理权限的系统。
先学什么,以及怎么写进简历
合理的顺序是先学 Tracking,再学 Registry。先习惯每次训练都成为一次带参数、指标和产物的运行,再学习注册版本和设置别名。LLM 和 Agent 相关功能可以等你熟悉传统模型的生命周期之后再学。
阅读 FDE 或机器学习工程师岗位的职位描述时,留意“experiment tracking”“model registry”“reproducibility”这类说法。在简历上,不要只是把“MLflow”加进技能列表。
要写清你如何用别名标记生产版本,以及如何把一次事故追溯到最初的运行。这样一句话能说明你理解这个工具解决的问题,而不只是知道它的名字。
好模型能帮你赢下演示。清晰的注册表,才能在客户第二次问“刚才改了什么?”时守住信任。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- ML Model Registry | MLflow AI Platform
- MLflow - Open Source AI Platform for Agents, LLMs & Models
- GitHub - mlflow/mlflow: The open source AI engineering platform for agents, LLMs, and ML models.
- Experiment Tracking - Made With ML by Anyscale · 2023
- Learn to Streamline Your Machine Learning Workflow with MLFlow · 2022-10-17