FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

Prefect 收购 Dagster,资产思维仍值得保留

流水线全绿,数据也可能出错;按产出的表而非执行的任务来编排,差别才看得清。

分享微博

要点速览

  • Dagster 以资产为中心:每个资产由一个 Python 函数定义,函数负责计算一张表或一个文件的内容。
  • Dagster 的核心观点:基于任务的编排工具能告诉你流水线跑到了哪一步,却说不清数据处于什么状态。
  • Prefect 正在收购 Dagster Labs。ServiceNow 的 FDE 招聘启事列出的是 Airflow 和 Prefect,没有 Dagster。
一家假设的零售连锁企业流水线四个步骤的改名前后对比。左侧是任务名:fetch_orders_from_crm、clean_and_dedupe、build_summary、embed_and_index,箭头指向右侧的资产名:raw_orders、cleaned_orders、order_summary、order_summary_index。order_summary 以橙色突出显示,并标注“助手读取”,因为它是 LLM 助手读取的那张表。
Dagster 的 “Thinking in Assets” 指南主张用名词给资产命名,即以产出的对象命名,而不是以计算步骤命名。示例为一家零售连锁企业的假设流水线。

2026 年 7 月 13 日,Dagster 创始人 Nick Schrock 在公司博客上宣布,Prefect 将收购 Dagster Labs。两款常被拿来和 Airflow 比较的工具,如今归于同一家公司。

借这个时机正好可以问一问:无论 Dagster 将来是否还会独立存在,它带来的哪个理念是前线部署工程师(FDE)需要理解的?

简短的答案只有一个词:资产。根据官方文档,Dagster 是为数据工程师打造的数据编排工具,内置数据血缘和可观测性。它的独特之处不在功能清单,而在于它看待流水线时所用的单元。

对 FDE 来说,这是很实际的问题。ServiceNow 于 2026 年 10 月 21 日发布的 Applied AI FDE 招聘启事,把这个岗位描述为构建 LLM 应用,工作范围横跨后端逻辑、数据编排和前端界面。编排是你自己的工作,不归别的团队管。

流水线全绿,不等于数据正确

Dagster 的博客认为,传统编排工具工作在任务层面。它们因此能展示流水线的状态,却展示不了底层资产的状态,而用户真正关心的恰恰是资产。

Dagster 自己做的 Airflow 对比说得更直白:Airflow 关注运行任务,Dagster 关注这些任务产出的资产。

要记住,这是厂商的观点,不是中立的评估。根据 Apache Airflow 文档,Airflow 是一个用于开发、调度和监控工作流的开源平台,它也确实做到了这些。两种思路回答的是两个不同的问题。

设想你正在为一家零售连锁企业的客服团队部署 LLM 助手。助手根据一张每晚刷新的订单汇总表来回答问题。

某天早上,一位经理问:为什么助手报出的订单状态不对?在基于任务的界面里,所有任务都是绿色。但你需要回答的是另一个问题:订单汇总表最后一次更新是什么时候,用的是哪个版本的源数据?

示例:把流水线命名从动词改成名词

Dagster 的 “Thinking in Assets” 指南建议把设计重心从任务转向资产。具体规则是:资产用名词命名,以产出的对象命名,而不是以计算步骤命名。套用到上文假设的零售流水线:

基于任务的命名 基于资产的命名 资产名帮助回答的问题
fetch_orders_from_crm raw_orders 原始数据是什么时候到的?
clean_and_dedupe cleaned_orders 清洗后的表比原始表新吗?
build_summary order_summary 助手读的是哪个版本?
embed_and_index order_summary_index 索引和汇总表一致吗?

在 Dagster 中,中间一列的每一行对应一个 Python 函数。根据文档,这个函数负责计算资产的内容,例如一张数据库表或一个文件。如果一个资产需要多个步骤,可以用 @graph_asset 装饰器把多步流水线打包,作为单个资产呈现。

这样改名之后,排查问题的提问方式也会变。你不再问“哪个任务失败了?”,而是问“哪个资产比它所依赖的资产还旧?”后者才是客户真正在问的问题,只是说法不同。

在客户那里,什么时候该选 Dagster?

按这个逻辑,当大部分工作是创建和维护表时,Dagster 最合适:RAG 的数据层、特征表、供 LLM 应用读取的报表。如果客户主要需要调度不产出数据的作业,例如调用 API、发送邮件或运行维护作业,Airflow 的任务模型更自然。

Prefect 走的是第三条路。其文档将它描述为一个开源编排引擎,能把普通 Python 函数变成生产环境的数据管道。对于需要在几周内为客户搭起流水线的 FDE,这种低门槛的方式很有价值。

它和 Dagster 的区别在于起点。按双方各自的描述,用 Prefect 时,你从已有的 Python 函数出发,把它们变成流水线;用 Dagster 时,你从需要产出的表或文件出发,再编写计算其内容的函数。

实用建议:不要只因为喜欢资产的概念就提议更换编排工具。如果客户已经在用 Airflow,就按产出物给 DAG 和任务命名,记录哪张表依赖哪张表。这样不必动客户的基础设施,也能拿到基于资产思维的大部分好处。

局限与风险

当下最大的风险是产品路线图。Prefect 收购 Dagster Labs 之后,如果要把 Dagster 放进客户需要自己运维多年的系统,先仔细看清官方的方向。

第二个信号来自招聘市场。ServiceNow 的 FDE 招聘启事把 Airflow 和 Prefect 与 MLflow、Kubeflow、SageMaker、Vertex AI 并列,但没有提 Dagster。一份招聘启事样本很小。即便如此,如果你瞄准的是类似岗位,应优先学 Airflow 和 Prefect。

先学什么

先学概念,再学工具。先把 Airflow 学扎实,它是基于任务的标杆,Dagster 和 Prefect 都拿它作比较。再用手头现有的几个 Python 函数写一个 Prefect flow,看看它们如何变成流水线。然后搭一个包含三四个资产的小型 Dagster 项目,让基于资产的思维成为本能。

在简历和面试中,不要只罗列工具名。讲清楚你的流水线让哪张表保持新鲜、谁在用它、你如何发现过期数据。这样讲,说明你考虑的是客户能用上的产出,而不只是会用某个工具。

你已经在用资产思维了吗?

快速自测:打开你最近写的一条流水线,在一分钟内回答三个问题。用户读取的最终产出是哪张表?它最后一次更新是什么时候?它直接依赖哪张表?

如果得翻每个任务的日志才能回答,说明你仍在用任务的视角看流水线。用名词重新命名并记录依赖关系,是改变这一点的第一步。

工具会易主、改名或合并。而追问“哪份数据是对的?”这个习惯,会跟着你去每一个客户那里。

这篇文章对你有帮助吗?

9 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力别等客户在看板上发现坏数据假设被打破时数据管道照样全绿,Great Expectations 把这些假设写成每晚运行的检查。