# Prefect 收购 Dagster，资产思维仍值得保留

> 流水线全绿，数据也可能出错；按产出的表而非执行的任务来编排，差别才看得清。

原文: https://fdetimes.net/zh/tools/dagster-asset-based-orchestration/

2026 年 7 月 13 日，Dagster 创始人 Nick Schrock 在公司博客上宣布，Prefect 将收购 Dagster Labs。两款常被拿来和 Airflow 比较的工具，如今归于同一家公司。

借这个时机正好可以问一问：无论 Dagster 将来是否还会独立存在，它带来的哪个理念是前线部署工程师（FDE）需要理解的？

简短的答案只有一个词：资产。根据官方文档，Dagster 是为数据工程师打造的数据编排工具，内置数据血缘和可观测性。它的独特之处不在功能清单，而在于它看待流水线时所用的单元。

对 FDE 来说，这是很实际的问题。ServiceNow 于 2026 年 10 月 21 日发布的 Applied AI FDE 招聘启事，把这个岗位描述为构建 LLM 应用，工作范围横跨后端逻辑、数据编排和前端界面。编排是你自己的工作，不归别的团队管。

## 流水线全绿，不等于数据正确

Dagster 的博客认为，传统编排工具工作在任务层面。它们因此能展示流水线的状态，却展示不了底层资产的状态，而用户真正关心的恰恰是资产。

Dagster 自己做的 Airflow 对比说得更直白：Airflow 关注运行任务，Dagster 关注这些任务产出的资产。

要记住，这是厂商的观点，不是中立的评估。根据 Apache Airflow 文档，Airflow 是一个用于开发、调度和监控工作流的开源平台，它也确实做到了这些。两种思路回答的是两个不同的问题。

设想你正在为一家零售连锁企业的客服团队部署 LLM 助手。助手根据一张每晚刷新的订单汇总表来回答问题。

某天早上，一位经理问：为什么助手报出的订单状态不对？在基于任务的界面里，所有任务都是绿色。但你需要回答的是另一个问题：订单汇总表最后一次更新是什么时候，用的是哪个版本的源数据？

## 示例：把流水线命名从动词改成名词

Dagster 的 “Thinking in Assets” 指南建议把设计重心从任务转向资产。具体规则是：资产用名词命名，以产出的对象命名，而不是以计算步骤命名。套用到上文假设的零售流水线：

| 基于任务的命名 | 基于资产的命名 | 资产名帮助回答的问题 |
|---|---|---|
| fetch_orders_from_crm | raw_orders | 原始数据是什么时候到的？ |
| clean_and_dedupe | cleaned_orders | 清洗后的表比原始表新吗？ |
| build_summary | order_summary | 助手读的是哪个版本？ |
| embed_and_index | order_summary_index | 索引和汇总表一致吗？ |

在 Dagster 中，中间一列的每一行对应一个 Python 函数。根据文档，这个函数负责计算资产的内容，例如一张数据库表或一个文件。如果一个资产需要多个步骤，可以用 `@graph_asset` 装饰器把多步流水线打包，作为单个资产呈现。

这样改名之后，排查问题的提问方式也会变。你不再问“哪个任务失败了？”，而是问“哪个资产比它所依赖的资产还旧？”后者才是客户真正在问的问题，只是说法不同。

**要点:** 客户不会问哪个任务跑了，他们问的是哪份数据是对的。

## 在客户那里，什么时候该选 Dagster？

按这个逻辑，当大部分工作是创建和维护表时，Dagster 最合适：RAG 的数据层、特征表、供 LLM 应用读取的报表。如果客户主要需要调度不产出数据的作业，例如调用 API、发送邮件或运行维护作业，Airflow 的任务模型更自然。

Prefect 走的是第三条路。其文档将它描述为一个开源编排引擎，能把普通 Python 函数变成生产环境的数据管道。对于需要在几周内为客户搭起流水线的 FDE，这种低门槛的方式很有价值。

它和 Dagster 的区别在于起点。按双方各自的描述，用 Prefect 时，你从已有的 Python 函数出发，把它们变成流水线；用 Dagster 时，你从需要产出的表或文件出发，再编写计算其内容的函数。

实用建议：不要只因为喜欢资产的概念就提议更换编排工具。如果客户已经在用 Airflow，就按产出物给 DAG 和任务命名，记录哪张表依赖哪张表。这样不必动客户的基础设施，也能拿到基于资产思维的大部分好处。

## 局限与风险

当下最大的风险是产品路线图。Prefect 收购 Dagster Labs 之后，如果要把 Dagster 放进客户需要自己运维多年的系统，先仔细看清官方的方向。

第二个信号来自招聘市场。ServiceNow 的 FDE 招聘启事把 Airflow 和 Prefect 与 MLflow、Kubeflow、SageMaker、Vertex AI 并列，但没有提 Dagster。一份招聘启事样本很小。即便如此，如果你瞄准的是类似岗位，应优先学 Airflow 和 Prefect。

## 先学什么

先学概念，再学工具。先把 Airflow 学扎实，它是基于任务的标杆，Dagster 和 Prefect 都拿它作比较。再用手头现有的几个 Python 函数写一个 Prefect flow，看看它们如何变成流水线。然后搭一个包含三四个资产的小型 Dagster 项目，让基于资产的思维成为本能。

在简历和面试中，不要只罗列工具名。讲清楚你的流水线让哪张表保持新鲜、谁在用它、你如何发现过期数据。这样讲，说明你考虑的是客户能用上的产出，而不只是会用某个工具。

## 你已经在用资产思维了吗？

快速自测：打开你最近写的一条流水线，在一分钟内回答三个问题。用户读取的最终产出是哪张表？它最后一次更新是什么时候？它直接依赖哪张表？

如果得翻每个任务的日志才能回答，说明你仍在用任务的视角看流水线。用名词重新命名并记录依赖关系，是改变这一点的第一步。

工具会易主、改名或合并。而追问“哪份数据是对的？”这个习惯，会跟着你去每一个客户那里。

**本周动手试试:**

- 拿一个正在运行的 DAG，写下每个任务产出的表或文件，再把这个 DAG 重新画成一张资产图。
- 阅读 Dagster 的 “Thinking in Assets” 页面，然后按名词规则给项目里的三个任务改名。
- 改简历上的一行：把“编写过 Airflow DAG”换成你的流水线负责保持新鲜、正确的那些表的名称。

## 信源

- [Overview | Dagster Docs](https://dagster.io/docs/getting-started/what-why-dagster)

- [Software-Defined Assets Explained](https://dagster.io/blog/software-defined-assets)

- [Thinking in Assets When Building Data Pipelines](https://dagster.io/blog/thinking-in-assets)

- [Dagster vs. Airflow](https://dagster.io/blog/dagster-airflow)

- [Defining assets | Dagster Docs](https://dagster.io/docs/concepts/assets/software-defined-assets)

- [Apache Airflow Documentation](https://airflow.apache.org/docs/apache-airflow/stable/index.html)

- [Introduction (Prefect docs)](https://www.prefect.io/docs/v3/get-started)

- [Prefect is Acquiring Dagster](https://dagster.io/blog/prefect-is-acquiring-dagster)

- [Forward Deployed Solution Engineer – Applied AI FDE](https://careers.servicenow.com/jobs/744000156764279/forward-deployed-solution-engineer-applied-ai-fde/)
