# Azure 客户那里，先问是 ADF 还是 Fabric

> FDE 很少从零开始：智能体要读的数据早已流经 Glue、ADF 或 Dataflow，第一周就得读懂这些管道。

原文: https://fdetimes.net/zh/tools/aws-glue-azure-data-factory-google-dataflow/

“你们用的是 Azure Data Factory，还是 Microsoft Fabric 中的 Data Factory？”在使用 Azure 的客户那里，这应该是前线部署工程师（FDE）最先提出的问题之一。

原因就写在微软自己的概述页面上。微软仍将 ADF 描述为一项托管云服务，面向复杂的 ETL、ELT 和混合数据集成项目。但在同一页面上，微软又称 Fabric 中的 Data Factory 是 ADF 的“下一代”，并引导新用户使用 Fabric。

这个问题反映了一个更普遍的现实：FDE 处理数据时，很少从零开始。等你到场时，客户通常已经在运行 AWS Glue、Azure Data Factory 或 Google Dataflow。你的 Agent 或模型需要读取的数据，正是从这些管道流过来的。

三者不必样样精通，但入场第一周内，你必须能读懂客户的管道。

## 三项服务，三套术语

AWS 将 Glue 描述为一项无服务器数据集成服务，用于从多个数据源发现、准备、移动和集成数据。Glue 的核心是爬网程序（crawler）：它推断数据的 schema，并写入 Glue Data Catalog。借助 Glue Studio，用户可以通过拖放构建转换工作流，并在基于 Apache Spark 的无服务器 ETL 引擎上运行。

偏好写代码的用户可以使用 Spark、Python 或 Scala。

ADF 有自己的一套概念：管道（pipeline）、活动（activity）、数据集（dataset）、链接服务（linked service）、数据流（data flow）和集成运行时（integration runtime）。映射数据流运行在按需启动、用完即关的 Spark 集群上，用户无需管理集群。集成运行时是活动与链接服务之间的桥梁，换句话说，它决定了管道实际在哪里运行。

Google 将 Dataflow 定义为一项可大规模运行的统一批处理和流处理服务。Dataflow 于 2014 年 6 月发布，2015 年 4 月进入公开测试，如今基于开源项目 Apache Beam 构建。负载变化时，服务会自动增加或关闭工作节点虚拟机（VM）。

## 同一个问题，三个优先查看的地方

设想一家零售连锁企业，想让 Agent 回答库存相关的问题。每天夜里，订单文件落入数据湖，而库存表存放在办公室的一个数据库里。你的任务是把这两个数据源汇集到一个干净的位置，供 Agent 查询。下表列出了每个平台上应该查看的地方。

| 步骤 | AWS Glue | Azure Data Factory | Google Dataflow |
|---|---|---|---|
| 弄清数据内容 | 查看爬网程序写入 Data Catalog 的 schema | 阅读数据集和链接服务 | 阅读 Beam 代码中读取数据源的步骤 |
| 连通本地数据库 | 打开作业，记下连接办公室数据库的连接，再向网络团队询问其路由和访问权限 | 查看哪个集成运行时充当桥梁 | 找到 Beam 代码中读取数据库的步骤，再询问网络团队工作节点 VM 能否访问办公室数据库 |
| 转换 | Glue Studio 或 PySpark 作业 | 运行在 Spark 上的映射数据流 | Beam 转换 |
| 何时运行 | 按计划、按需或由事件触发 | 打开管道，查看活动顺序，并询问客户由什么触发 | 询问客户作业如何启动，是批处理还是流处理作业 |

逐行对照就会发现，这个例子中最难的问题在第二行。集成运行时是活动与链接服务之间的桥梁，所以在 Azure 上，要检查管道能否连上办公室数据库，首先就该看它。

写任何转换逻辑之前，先和客户的网络与安全团队坐下来，把这座桥梁确定下来。

**要点:** 在弄清客户管道的 schema 从哪里来、在哪里运行之前，不要改动它。

## 局限在哪里？

三项服务都隐藏了大量基础设施，而这恰恰容易让 FDE 掉以轻心。Spark 自动启停、工作节点自动扩缩，并不意味着转换逻辑就是正确的。爬网程序从数据中推断出的 schema 终究只是猜测，要找该数据源的负责人核实。

Azure 还多了一个战略层面的问题。微软表示，现有的 ADF 工作负载可以升级到 Fabric。因此，任何在 ADF 上新建项目的方案，都应该直接问客户一句：是否计划迁移到 Fabric？跳过这一问，你可能刚交付完就得着手规划升级。

Dataflow 的难点在于编程模型，而非基础设施。Beam 用同一套模型处理批处理和流处理。这套模型很强大，但习惯写顺序脚本的人需要时间适应。

## 先学什么

如果只有一个月，先学 Spark。在 Glue 上，ETL 作业直接用 Spark 编写。在 ADF 中，Spark 位于映射数据流底层，由服务托管，所以懂 Spark 能帮你理解数据流的运行方式，而不是要你亲自运维它。

接着学足够的 Beam，能读懂 Dataflow 管道即可。最后，练习把管道纳入发布流程：ADF 通过 Azure DevOps 和 GitHub 全面支持 CI/CD，企业客户一定会问到这一点。

阅读 FDE 岗位描述时，留意其中提到哪些 ETL 服务，据此决定先补哪个平台。简历上不要写“熟悉 AWS Glue”，而要写你读懂了一条现有管道，找到了 schema 漂移的位置，并通过 CI/CD 发布了修复。

这句话能让招聘经理清楚看到 FDE 在客户现场做的正是这类工作。

客户的 ETL 工具几乎肯定在你到场之前就已选定。你能掌控的，是多快读懂它。

**本周动手试试:**

- 注册 AWS 免费套餐账号，让爬网程序扫描 S3 上一个存放 CSV 文件的文件夹，然后在 Data Catalog 中查看它推断出的 schema
- 编写一个 Apache Beam 管道，读取文件并按键统计行数，先在本地跑通，再考虑放到 Dataflow 上运行
- 找一份 FDE 岗位描述，划出其中提到的 ETL 服务，然后写一行简历，说明你如何读懂、修复这类管道或将其纳入 CI/CD

## 信源

- [Introduction to Azure Data Factory - Azure Data Factory | Microsoft Learn](https://learn.microsoft.com/en-us/azure/data-factory/introduction)

- [What is AWS Glue? - AWS Glue Developer Guide](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html)

- [AWS Glue - Serverless Data Integration Service](https://aws.amazon.com/glue/)

- [Dataflow overview | Google Cloud Documentation](https://docs.cloud.google.com/dataflow/docs/overview)

- [Google Cloud Dataflow - Wikipedia](https://en.wikipedia.org/wiki/Google_Cloud_Dataflow)
