最好的编排器,是你离场后客户还能自己运维的那个
Airflow 能扩展,却留下一整套组件要维护;Luigi 离了 cron 连自己触发都做不到。
要点速览
- 要运行 Airflow,客户得维护调度器、元数据库(通常是 PostgreSQL 或 MySQL)、API 服务器和 worker
- Prefect 用纯 Python 编写工作流,worker 可以部署在客户自己的基础设施中
- Luigi 只支持批处理,没有内置触发机制,设计上也不面向数万个以上作业的规模
Luigi 的文档写得很直白:它没有内置触发机制。想让管道每晚运行,得自己接上 cron 或类似工具。
前线部署工程师(FDE)每次为客户搭建数据管道,都要选一个编排器。很多工程师会直接选自己最熟的工具。这样做忽略了一个关键事实:你只在项目上待几周,客户的运维团队却要和这套系统相处好几年。
所以真正要问的不是哪个工具最强,而是客户团队能不能让它持续运转。三款主流工具都属于 Wikipedia 所说的作业调度器:控制后台作业、在无人看管的情况下运行的软件。
它们的区别在于各自留给客户的运维负担。
Airflow 功能强大,但客户要扛起一整套系统
Airflow 官网称它是社区打造的平台,用代码编写、调度和监控工作流。管道用 Python 定义,因此可以动态生成。Airflow 采用模块化架构,通过消息队列协调任意数量的 worker,负载增长时有扩展的路径。
代价在架构文档里写得很清楚。一套 Airflow 由以下部分组成:调度器(既负责触发定时工作流,也负责把任务提交给执行器);元数据库,通常是 PostgreSQL 或 MySQL,存储任务、DAG 和变量的状态;API 服务器;以及可选的 worker。每个组件都需要有人监控、升级和备份。
如果客户已经有一支平台团队,习惯运维 PostgreSQL 和数百条管道,Airflow 是合理的选择。如果运维只有两个人,还身兼别的工作,就要慎重考虑。一开始就要问清楚:凌晨 2 点元数据库把磁盘写满了,谁来处理?
Prefect:纯 Python,worker 部署在客户基础设施内
Prefect 自称开源编排引擎,能把 Python 函数变成生产级数据管道。文档强调工作流用纯 Python 编写,不需要 DSL、YAML 或特殊语法。对于已经在写 Python 脚本的客户团队,学习成本主要在概念层面。
对 FDE 来说,还有两点很重要。一是 flow 可以按计划、由外部事件或通过 API 触发。二是在混合模式下,worker 运行在客户的基础设施中,并把运行任务提交到同一套基础设施里。
如果客户是银行或医院,数据不能离开内部系统,这一点就值得提出来。但 worker 只是全貌的一部分。在向客户承诺 Prefect 比 Airflow 更轻之前,先列出你这套具体部署还需要持续运行的所有其他组件。
Luigi 直接写明了自己的局限
Luigi 是一个 Python 包,在 3.10 到 3.13 版本上测试过,用于构建复杂的批处理作业管道。文档直接列出三条局限:没有内置触发机制;专注于批处理,因此不太适合准实时管道或持续运行的进程;设计上不面向数万个以上作业的规模。
工具对自身局限这么坦率,FDE 做排除法就容易多了。如果客户的问题完全落在这些局限之内,Luigi 值得进入候选名单。
下一步是数一数 Luigi 加 cron 的方案在客户环境中需要运行哪些东西,再和 Airflow 的组件清单放在一起比较,而不是想当然地认为它更轻。
落到一个真实客户身上
设想一家零售连锁企业,有 40 个批处理作业,每晚运行,汇总销售和库存数据。运维团队只有两个人,数据不能离开公司的数据中心。按图中的五个问题逐一过一遍。
触发:只需要每晚定时运行,cron 加 Luigi 就够了。处理方式:纯批处理,仍然是 Luigi 擅长的领域。规模:40 个作业,离数万个还差得远。
运维能力是最需要谨慎的一环。Airflow 的清单已经很明确:元数据库、调度器、API 服务器和 worker,全由两个人照看。至于 Luigi 和 Prefect,你得自己数清具体方案中常驻运行的组件,才谈得上比较。
内部数据是硬性约束,要一直放在视野内,需求一变就重新核对。
接着客户补充说,下个季度希望供应商的文件一到,管道就自动运行。这属于外部事件触发,Luigi 不提供开箱即用的支持,Prefect 支持。再回到内部数据这个问题,Prefect 的混合 worker 部署在客户基础设施内,因此 Prefect 成为首先要试的候选。
Airflow 仍需回答运维能力的问题:两个人能照看好这四个组件吗?答案要和客户团队坐下来谈出来,而不是从功能对比页上得出。
选择编排器时的三个常见错误
第一,按自己的习惯选。你最熟的工具,未必是客户团队半夜能撑得住的工具。
第二,跳过讲局限的章节。选了 Luigi 才发现它没有内置触发,或者在文档明确提醒之后仍把它用在准实时管道里,为一页没读的文档付出的代价很高。
第三,比较时厚此薄彼:仔细数了一个工具的组件,却忽略另一个工具里对应的部分。解决办法很简单:下结论之前,为每个候选工具列一张表,写出所有必须持续运行的进程。
先学什么
如果只有时间深入学一个工具,从 Airflow 开始,因为它的架构文档把每个组件都讲得很清楚:调度器、执行器、元数据库、worker。脑子里有了这些部件,就更容易看出其他工具把哪些部分留给了用户,比如 Luigi 把触发交给了 cron。
阅读 FDE 或面向客户的数据工程岗位描述时,留意它写的是 “Airflow” 还是 “编排”。有人可能会猜,后一种写法意味着他们需要能选工具的人,而不只是会用工具的人,但这只是猜测,面试时直接问清楚。
简历上与其罗列工具名,不如写一句类似这样的话:因客户需要事件驱动触发、且数据必须留在本地,选择 Prefect 而非 Airflow。
你离开项目之后,客户团队不会记得你选了哪个工具。他们会记得的是,这套系统有没有在凌晨 2 点把他们叫醒。
这篇文章对你有帮助吗?
感谢你的反馈!