FDE Times 数据在招 FDE 职位 8840 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

最好的编排器,是你离场后客户还能自己运维的那个

Airflow 能扩展,却留下一整套组件要维护;Luigi 离了 cron 连自己触发都做不到。

分享微博

要点速览

  • 要运行 Airflow,客户得维护调度器、元数据库(通常是 PostgreSQL 或 MySQL)、API 服务器和 worker
  • Prefect 用纯 Python 编写工作流,worker 可以部署在客户自己的基础设施中
  • Luigi 只支持批处理,没有内置触发机制,设计上也不面向数万个以上作业的规模
编号的五步示意图,以一家零售企业为例,依次列出触发、处理方式、规模、运维能力和本地数据。触发:只需每晚定时,cron 加 Luigi 就够;处理方式:纯批处理;规模:40 个作业,远低于数万个;运维能力:Airflow 有元数据库、调度器、API 服务器和 worker 四个组件要照看,Luigi 和 Prefect 需自行清点比较;本地数据是硬性约束。问题 1 和问题 5 的箭头指向下方的橙色方框:当客户需要事件驱动触发、数据又必须留在本地时,Prefect 的混合 worker 部署在客户基础设施内,是首先要试的候选。
40 个每晚运行的批处理作业,cron 加 Luigi 就够用。客户一旦希望文件一到管道就运行,触发和本地数据这两个问题叠加起来,Prefect 就成了首先要试的候选。

Luigi 的文档写得很直白:它没有内置触发机制。想让管道每晚运行,得自己接上 cron 或类似工具。

前线部署工程师(FDE)每次为客户搭建数据管道,都要选一个编排器。很多工程师会直接选自己最熟的工具。这样做忽略了一个关键事实:你只在项目上待几周,客户的运维团队却要和这套系统相处好几年。

所以真正要问的不是哪个工具最强,而是客户团队能不能让它持续运转。三款主流工具都属于 Wikipedia 所说的作业调度器:控制后台作业、在无人看管的情况下运行的软件。

它们的区别在于各自留给客户的运维负担。

Airflow 功能强大,但客户要扛起一整套系统

Airflow 官网称它是社区打造的平台,用代码编写、调度和监控工作流。管道用 Python 定义,因此可以动态生成。Airflow 采用模块化架构,通过消息队列协调任意数量的 worker,负载增长时有扩展的路径。

代价在架构文档里写得很清楚。一套 Airflow 由以下部分组成:调度器(既负责触发定时工作流,也负责把任务提交给执行器);元数据库,通常是 PostgreSQL 或 MySQL,存储任务、DAG 和变量的状态;API 服务器;以及可选的 worker。每个组件都需要有人监控、升级和备份。

如果客户已经有一支平台团队,习惯运维 PostgreSQL 和数百条管道,Airflow 是合理的选择。如果运维只有两个人,还身兼别的工作,就要慎重考虑。一开始就要问清楚:凌晨 2 点元数据库把磁盘写满了,谁来处理?

Prefect:纯 Python,worker 部署在客户基础设施内

Prefect 自称开源编排引擎,能把 Python 函数变成生产级数据管道。文档强调工作流用纯 Python 编写,不需要 DSL、YAML 或特殊语法。对于已经在写 Python 脚本的客户团队,学习成本主要在概念层面。

对 FDE 来说,还有两点很重要。一是 flow 可以按计划、由外部事件或通过 API 触发。二是在混合模式下,worker 运行在客户的基础设施中,并把运行任务提交到同一套基础设施里。

如果客户是银行或医院,数据不能离开内部系统,这一点就值得提出来。但 worker 只是全貌的一部分。在向客户承诺 Prefect 比 Airflow 更轻之前,先列出你这套具体部署还需要持续运行的所有其他组件。

Luigi 直接写明了自己的局限

Luigi 是一个 Python 包,在 3.10 到 3.13 版本上测试过,用于构建复杂的批处理作业管道。文档直接列出三条局限:没有内置触发机制;专注于批处理,因此不太适合准实时管道或持续运行的进程;设计上不面向数万个以上作业的规模。

工具对自身局限这么坦率,FDE 做排除法就容易多了。如果客户的问题完全落在这些局限之内,Luigi 值得进入候选名单。

下一步是数一数 Luigi 加 cron 的方案在客户环境中需要运行哪些东西,再和 Airflow 的组件清单放在一起比较,而不是想当然地认为它更轻。

落到一个真实客户身上

设想一家零售连锁企业,有 40 个批处理作业,每晚运行,汇总销售和库存数据。运维团队只有两个人,数据不能离开公司的数据中心。按图中的五个问题逐一过一遍。

触发:只需要每晚定时运行,cron 加 Luigi 就够了。处理方式:纯批处理,仍然是 Luigi 擅长的领域。规模:40 个作业,离数万个还差得远。

运维能力是最需要谨慎的一环。Airflow 的清单已经很明确:元数据库、调度器、API 服务器和 worker,全由两个人照看。至于 Luigi 和 Prefect,你得自己数清具体方案中常驻运行的组件,才谈得上比较。

内部数据是硬性约束,要一直放在视野内,需求一变就重新核对。

接着客户补充说,下个季度希望供应商的文件一到,管道就自动运行。这属于外部事件触发,Luigi 不提供开箱即用的支持,Prefect 支持。再回到内部数据这个问题,Prefect 的混合 worker 部署在客户基础设施内,因此 Prefect 成为首先要试的候选。

Airflow 仍需回答运维能力的问题:两个人能照看好这四个组件吗?答案要和客户团队坐下来谈出来,而不是从功能对比页上得出。

选择编排器时的三个常见错误

第一,按自己的习惯选。你最熟的工具,未必是客户团队半夜能撑得住的工具。

第二,跳过讲局限的章节。选了 Luigi 才发现它没有内置触发,或者在文档明确提醒之后仍把它用在准实时管道里,为一页没读的文档付出的代价很高。

第三,比较时厚此薄彼:仔细数了一个工具的组件,却忽略另一个工具里对应的部分。解决办法很简单:下结论之前,为每个候选工具列一张表,写出所有必须持续运行的进程。

先学什么

如果只有时间深入学一个工具,从 Airflow 开始,因为它的架构文档把每个组件都讲得很清楚:调度器、执行器、元数据库、worker。脑子里有了这些部件,就更容易看出其他工具把哪些部分留给了用户,比如 Luigi 把触发交给了 cron。

阅读 FDE 或面向客户的数据工程岗位描述时,留意它写的是 “Airflow” 还是 “编排”。有人可能会猜,后一种写法意味着他们需要能选工具的人,而不只是会用工具的人,但这只是猜测,面试时直接问清楚。

简历上与其罗列工具名,不如写一句类似这样的话:因客户需要事件驱动触发、且数据必须留在本地,选择 Prefect 而非 Airflow。

你离开项目之后,客户团队不会记得你选了哪个工具。他们会记得的是,这套系统有没有在凌晨 2 点把他们叫醒。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 5: 部署上线一份 OpenAPI 规范,如何同时写给人和 AgentSpeakeasy 用 OpenAPI 构建 50 多个 MCP 服务器后发现,工具多到 200 个,模型就会选错。