Prefect 收购 Dagster,资产思维仍值得保留
流水线全绿,数据也可能出错;按产出的表而非执行的任务来编排,差别才看得清。
要点速览
- Dagster 以资产为中心:每个资产由一个 Python 函数定义,函数负责计算一张表或一个文件的内容。
- Dagster 的核心观点:基于任务的编排工具能告诉你流水线跑到了哪一步,却说不清数据处于什么状态。
- Prefect 正在收购 Dagster Labs。ServiceNow 的 FDE 招聘启事列出的是 Airflow 和 Prefect,没有 Dagster。
2026 年 7 月 13 日,Dagster 创始人 Nick Schrock 在公司博客上宣布,Prefect 将收购 Dagster Labs。两款常被拿来和 Airflow 比较的工具,如今归于同一家公司。
借这个时机正好可以问一问:无论 Dagster 将来是否还会独立存在,它带来的哪个理念是前线部署工程师(FDE)需要理解的?
简短的答案只有一个词:资产。根据官方文档,Dagster 是为数据工程师打造的数据编排工具,内置数据血缘和可观测性。它的独特之处不在功能清单,而在于它看待流水线时所用的单元。
对 FDE 来说,这是很实际的问题。ServiceNow 于 2026 年 10 月 21 日发布的 Applied AI FDE 招聘启事,把这个岗位描述为构建 LLM 应用,工作范围横跨后端逻辑、数据编排和前端界面。编排是你自己的工作,不归别的团队管。
流水线全绿,不等于数据正确
Dagster 的博客认为,传统编排工具工作在任务层面。它们因此能展示流水线的状态,却展示不了底层资产的状态,而用户真正关心的恰恰是资产。
Dagster 自己做的 Airflow 对比说得更直白:Airflow 关注运行任务,Dagster 关注这些任务产出的资产。
要记住,这是厂商的观点,不是中立的评估。根据 Apache Airflow 文档,Airflow 是一个用于开发、调度和监控工作流的开源平台,它也确实做到了这些。两种思路回答的是两个不同的问题。
设想你正在为一家零售连锁企业的客服团队部署 LLM 助手。助手根据一张每晚刷新的订单汇总表来回答问题。
某天早上,一位经理问:为什么助手报出的订单状态不对?在基于任务的界面里,所有任务都是绿色。但你需要回答的是另一个问题:订单汇总表最后一次更新是什么时候,用的是哪个版本的源数据?
示例:把流水线命名从动词改成名词
Dagster 的 “Thinking in Assets” 指南建议把设计重心从任务转向资产。具体规则是:资产用名词命名,以产出的对象命名,而不是以计算步骤命名。套用到上文假设的零售流水线:
| 基于任务的命名 | 基于资产的命名 | 资产名帮助回答的问题 |
|---|---|---|
| fetch_orders_from_crm | raw_orders | 原始数据是什么时候到的? |
| clean_and_dedupe | cleaned_orders | 清洗后的表比原始表新吗? |
| build_summary | order_summary | 助手读的是哪个版本? |
| embed_and_index | order_summary_index | 索引和汇总表一致吗? |
在 Dagster 中,中间一列的每一行对应一个 Python 函数。根据文档,这个函数负责计算资产的内容,例如一张数据库表或一个文件。如果一个资产需要多个步骤,可以用 @graph_asset 装饰器把多步流水线打包,作为单个资产呈现。
这样改名之后,排查问题的提问方式也会变。你不再问“哪个任务失败了?”,而是问“哪个资产比它所依赖的资产还旧?”后者才是客户真正在问的问题,只是说法不同。
在客户那里,什么时候该选 Dagster?
按这个逻辑,当大部分工作是创建和维护表时,Dagster 最合适:RAG 的数据层、特征表、供 LLM 应用读取的报表。如果客户主要需要调度不产出数据的作业,例如调用 API、发送邮件或运行维护作业,Airflow 的任务模型更自然。
Prefect 走的是第三条路。其文档将它描述为一个开源编排引擎,能把普通 Python 函数变成生产环境的数据管道。对于需要在几周内为客户搭起流水线的 FDE,这种低门槛的方式很有价值。
它和 Dagster 的区别在于起点。按双方各自的描述,用 Prefect 时,你从已有的 Python 函数出发,把它们变成流水线;用 Dagster 时,你从需要产出的表或文件出发,再编写计算其内容的函数。
实用建议:不要只因为喜欢资产的概念就提议更换编排工具。如果客户已经在用 Airflow,就按产出物给 DAG 和任务命名,记录哪张表依赖哪张表。这样不必动客户的基础设施,也能拿到基于资产思维的大部分好处。
局限与风险
当下最大的风险是产品路线图。Prefect 收购 Dagster Labs 之后,如果要把 Dagster 放进客户需要自己运维多年的系统,先仔细看清官方的方向。
第二个信号来自招聘市场。ServiceNow 的 FDE 招聘启事把 Airflow 和 Prefect 与 MLflow、Kubeflow、SageMaker、Vertex AI 并列,但没有提 Dagster。一份招聘启事样本很小。即便如此,如果你瞄准的是类似岗位,应优先学 Airflow 和 Prefect。
先学什么
先学概念,再学工具。先把 Airflow 学扎实,它是基于任务的标杆,Dagster 和 Prefect 都拿它作比较。再用手头现有的几个 Python 函数写一个 Prefect flow,看看它们如何变成流水线。然后搭一个包含三四个资产的小型 Dagster 项目,让基于资产的思维成为本能。
在简历和面试中,不要只罗列工具名。讲清楚你的流水线让哪张表保持新鲜、谁在用它、你如何发现过期数据。这样讲,说明你考虑的是客户能用上的产出,而不只是会用某个工具。
你已经在用资产思维了吗?
快速自测:打开你最近写的一条流水线,在一分钟内回答三个问题。用户读取的最终产出是哪张表?它最后一次更新是什么时候?它直接依赖哪张表?
如果得翻每个任务的日志才能回答,说明你仍在用任务的视角看流水线。用名词重新命名并记录依赖关系,是改变这一点的第一步。
工具会易主、改名或合并。而追问“哪份数据是对的?”这个习惯,会跟着你去每一个客户那里。
这篇文章对你有帮助吗?
感谢你的反馈!
9 个信源
- Overview | Dagster Docs
- Software-Defined Assets Explained · 2025-08-07
- Thinking in Assets When Building Data Pipelines · 2024-02-05
- Dagster vs. Airflow · 2024-09-23
- Defining assets | Dagster Docs
- Apache Airflow Documentation
- Introduction (Prefect docs)
- Prefect is Acquiring Dagster · 2026-07-13
- Forward Deployed Solution Engineer – Applied AI FDE · 2026-10-21