# 最好的编排器，是你离场后客户还能自己运维的那个

> Airflow 能扩展，却留下一整套组件要维护；Luigi 离了 cron 连自己触发都做不到。

原文: https://fdetimes.net/zh/tools/airflow-prefect-luigi-choose-orchestrator/

Luigi 的文档写得很直白：它没有内置触发机制。想让管道每晚运行，得自己接上 cron 或类似工具。

前线部署工程师（FDE）每次为客户搭建数据管道，都要选一个编排器。很多工程师会直接选自己最熟的工具。这样做忽略了一个关键事实：你只在项目上待几周，客户的运维团队却要和这套系统相处好几年。

所以真正要问的不是哪个工具最强，而是客户团队能不能让它持续运转。三款主流工具都属于 Wikipedia 所说的作业调度器：控制后台作业、在无人看管的情况下运行的软件。

它们的区别在于各自留给客户的运维负担。

## Airflow 功能强大，但客户要扛起一整套系统

Airflow 官网称它是社区打造的平台，用代码编写、调度和监控工作流。管道用 Python 定义，因此可以动态生成。Airflow 采用模块化架构，通过消息队列协调任意数量的 worker，负载增长时有扩展的路径。

代价在架构文档里写得很清楚。一套 Airflow 由以下部分组成：调度器（既负责触发定时工作流，也负责把任务提交给执行器）；元数据库，通常是 PostgreSQL 或 MySQL，存储任务、DAG 和变量的状态；API 服务器；以及可选的 worker。每个组件都需要有人监控、升级和备份。

如果客户已经有一支平台团队，习惯运维 PostgreSQL 和数百条管道，Airflow 是合理的选择。如果运维只有两个人，还身兼别的工作，就要慎重考虑。一开始就要问清楚：凌晨 2 点元数据库把磁盘写满了，谁来处理？

## Prefect：纯 Python，worker 部署在客户基础设施内

Prefect 自称开源编排引擎，能把 Python 函数变成生产级数据管道。文档强调工作流用纯 Python 编写，不需要 DSL、YAML 或特殊语法。对于已经在写 Python 脚本的客户团队，学习成本主要在概念层面。

对 FDE 来说，还有两点很重要。一是 flow 可以按计划、由外部事件或通过 API 触发。二是在混合模式下，worker 运行在客户的基础设施中，并把运行任务提交到同一套基础设施里。

如果客户是银行或医院，数据不能离开内部系统，这一点就值得提出来。但 worker 只是全貌的一部分。在向客户承诺 Prefect 比 Airflow 更轻之前，先列出你这套具体部署还需要持续运行的所有其他组件。

## Luigi 直接写明了自己的局限

Luigi 是一个 Python 包，在 3.10 到 3.13 版本上测试过，用于构建复杂的批处理作业管道。文档直接列出三条局限：没有内置触发机制；专注于批处理，因此不太适合准实时管道或持续运行的进程；设计上不面向数万个以上作业的规模。

工具对自身局限这么坦率，FDE 做排除法就容易多了。如果客户的问题完全落在这些局限之内，Luigi 值得进入候选名单。

下一步是数一数 Luigi 加 cron 的方案在客户环境中需要运行哪些东西，再和 Airflow 的组件清单放在一起比较，而不是想当然地认为它更轻。

## 落到一个真实客户身上

设想一家零售连锁企业，有 40 个批处理作业，每晚运行，汇总销售和库存数据。运维团队只有两个人，数据不能离开公司的数据中心。按图中的五个问题逐一过一遍。

触发：只需要每晚定时运行，cron 加 Luigi 就够了。处理方式：纯批处理，仍然是 Luigi 擅长的领域。规模：40 个作业，离数万个还差得远。

运维能力是最需要谨慎的一环。Airflow 的清单已经很明确：元数据库、调度器、API 服务器和 worker，全由两个人照看。至于 Luigi 和 Prefect，你得自己数清具体方案中常驻运行的组件，才谈得上比较。

内部数据是硬性约束，要一直放在视野内，需求一变就重新核对。

接着客户补充说，下个季度希望供应商的文件一到，管道就自动运行。这属于外部事件触发，Luigi 不提供开箱即用的支持，Prefect 支持。再回到内部数据这个问题，Prefect 的混合 worker 部署在客户基础设施内，因此 Prefect 成为首先要试的候选。

Airflow 仍需回答运维能力的问题：两个人能照看好这四个组件吗？答案要和客户团队坐下来谈出来，而不是从功能对比页上得出。

**要点:** 选择编排器，要看未来六个月需要怎样的触发方式，以及系统出故障时有几个人值班，而不是看功能清单。

## 选择编排器时的三个常见错误

第一，按自己的习惯选。你最熟的工具，未必是客户团队半夜能撑得住的工具。

第二，跳过讲局限的章节。选了 Luigi 才发现它没有内置触发，或者在文档明确提醒之后仍把它用在准实时管道里，为一页没读的文档付出的代价很高。

第三，比较时厚此薄彼：仔细数了一个工具的组件，却忽略另一个工具里对应的部分。解决办法很简单：下结论之前，为每个候选工具列一张表，写出所有必须持续运行的进程。

## 先学什么

如果只有时间深入学一个工具，从 Airflow 开始，因为它的架构文档把每个组件都讲得很清楚：调度器、执行器、元数据库、worker。脑子里有了这些部件，就更容易看出其他工具把哪些部分留给了用户，比如 Luigi 把触发交给了 cron。

阅读 FDE 或面向客户的数据工程岗位描述时，留意它写的是 “Airflow” 还是 “编排”。有人可能会猜，后一种写法意味着他们需要能选工具的人，而不只是会用工具的人，但这只是猜测，面试时直接问清楚。

简历上与其罗列工具名，不如写一句类似这样的话：因客户需要事件驱动触发、且数据必须留在本地，选择 Prefect 而非 Airflow。

你离开项目之后，客户团队不会记得你选了哪个工具。他们会记得的是，这套系统有没有在凌晨 2 点把他们叫醒。

**本周动手试试:**

- 分别用 Airflow、Prefect 和 Luigi 搭建同一条三步管道（获取数据、转换、写入结果），然后数一数每个工具需要多少个运行中的组件
- 为 Luigi 自己配置 cron，让管道每晚运行，体会一下工具没有内置触发是什么感觉
- 用本文的五个问题，为一个假想客户写一份半页纸的选型决策说明

## 信源

- [Apache Airflow®](https://airflow.apache.org/)

- [Architecture Overview](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/overview.html)

- [Introduction (Prefect Docs)](https://docs.prefect.io/v3/get-started)

- [Work pools (Prefect Docs)](https://docs.prefect.io/v3/concepts/work-pools)

- [Getting Started — Luigi documentation](https://luigi.readthedocs.io/)

- [Design and limitations — Luigi documentation](https://luigi.readthedocs.io/en/stable/design_and_limitations.html)

- [Job scheduler](https://en.wikipedia.org/wiki/Job_scheduler)
