Azure 客户那里,先问是 ADF 还是 Fabric
FDE 很少从零开始:智能体要读的数据早已流经 Glue、ADF 或 Dataflow,第一周就得读懂这些管道。
要点速览
- Glue 和 ADF 数据流都运行在由服务托管的 Spark 上。Dataflow 基于 Apache Beam,批处理和流处理共用一套模型。
- 在 Azure 客户那里,要尽早问清对方用的是 ADF 还是 Microsoft Fabric 中的 Data Factory,因为微软正把新用户引向 Fabric。
- 接手管道时先打开哪里:AWS 上看 Data Catalog,Azure 上看集成运行时,Google Cloud 上看 Beam 代码。
“你们用的是 Azure Data Factory,还是 Microsoft Fabric 中的 Data Factory?”在使用 Azure 的客户那里,这应该是前线部署工程师(FDE)最先提出的问题之一。
原因就写在微软自己的概述页面上。微软仍将 ADF 描述为一项托管云服务,面向复杂的 ETL、ELT 和混合数据集成项目。但在同一页面上,微软又称 Fabric 中的 Data Factory 是 ADF 的“下一代”,并引导新用户使用 Fabric。
这个问题反映了一个更普遍的现实:FDE 处理数据时,很少从零开始。等你到场时,客户通常已经在运行 AWS Glue、Azure Data Factory 或 Google Dataflow。你的 Agent 或模型需要读取的数据,正是从这些管道流过来的。
三者不必样样精通,但入场第一周内,你必须能读懂客户的管道。
三项服务,三套术语
AWS 将 Glue 描述为一项无服务器数据集成服务,用于从多个数据源发现、准备、移动和集成数据。Glue 的核心是爬网程序(crawler):它推断数据的 schema,并写入 Glue Data Catalog。借助 Glue Studio,用户可以通过拖放构建转换工作流,并在基于 Apache Spark 的无服务器 ETL 引擎上运行。
偏好写代码的用户可以使用 Spark、Python 或 Scala。
ADF 有自己的一套概念:管道(pipeline)、活动(activity)、数据集(dataset)、链接服务(linked service)、数据流(data flow)和集成运行时(integration runtime)。映射数据流运行在按需启动、用完即关的 Spark 集群上,用户无需管理集群。集成运行时是活动与链接服务之间的桥梁,换句话说,它决定了管道实际在哪里运行。
Google 将 Dataflow 定义为一项可大规模运行的统一批处理和流处理服务。Dataflow 于 2014 年 6 月发布,2015 年 4 月进入公开测试,如今基于开源项目 Apache Beam 构建。负载变化时,服务会自动增加或关闭工作节点虚拟机(VM)。
同一个问题,三个优先查看的地方
设想一家零售连锁企业,想让 Agent 回答库存相关的问题。每天夜里,订单文件落入数据湖,而库存表存放在办公室的一个数据库里。你的任务是把这两个数据源汇集到一个干净的位置,供 Agent 查询。下表列出了每个平台上应该查看的地方。
| 步骤 | AWS Glue | Azure Data Factory | Google Dataflow |
|---|---|---|---|
| 弄清数据内容 | 查看爬网程序写入 Data Catalog 的 schema | 阅读数据集和链接服务 | 阅读 Beam 代码中读取数据源的步骤 |
| 连通本地数据库 | 打开作业,记下连接办公室数据库的连接,再向网络团队询问其路由和访问权限 | 查看哪个集成运行时充当桥梁 | 找到 Beam 代码中读取数据库的步骤,再询问网络团队工作节点 VM 能否访问办公室数据库 |
| 转换 | Glue Studio 或 PySpark 作业 | 运行在 Spark 上的映射数据流 | Beam 转换 |
| 何时运行 | 按计划、按需或由事件触发 | 打开管道,查看活动顺序,并询问客户由什么触发 | 询问客户作业如何启动,是批处理还是流处理作业 |
逐行对照就会发现,这个例子中最难的问题在第二行。集成运行时是活动与链接服务之间的桥梁,所以在 Azure 上,要检查管道能否连上办公室数据库,首先就该看它。
写任何转换逻辑之前,先和客户的网络与安全团队坐下来,把这座桥梁确定下来。
局限在哪里?
三项服务都隐藏了大量基础设施,而这恰恰容易让 FDE 掉以轻心。Spark 自动启停、工作节点自动扩缩,并不意味着转换逻辑就是正确的。爬网程序从数据中推断出的 schema 终究只是猜测,要找该数据源的负责人核实。
Azure 还多了一个战略层面的问题。微软表示,现有的 ADF 工作负载可以升级到 Fabric。因此,任何在 ADF 上新建项目的方案,都应该直接问客户一句:是否计划迁移到 Fabric?跳过这一问,你可能刚交付完就得着手规划升级。
Dataflow 的难点在于编程模型,而非基础设施。Beam 用同一套模型处理批处理和流处理。这套模型很强大,但习惯写顺序脚本的人需要时间适应。
先学什么
如果只有一个月,先学 Spark。在 Glue 上,ETL 作业直接用 Spark 编写。在 ADF 中,Spark 位于映射数据流底层,由服务托管,所以懂 Spark 能帮你理解数据流的运行方式,而不是要你亲自运维它。
接着学足够的 Beam,能读懂 Dataflow 管道即可。最后,练习把管道纳入发布流程:ADF 通过 Azure DevOps 和 GitHub 全面支持 CI/CD,企业客户一定会问到这一点。
阅读 FDE 岗位描述时,留意其中提到哪些 ETL 服务,据此决定先补哪个平台。简历上不要写“熟悉 AWS Glue”,而要写你读懂了一条现有管道,找到了 schema 漂移的位置,并通过 CI/CD 发布了修复。
这句话能让招聘经理清楚看到 FDE 在客户现场做的正是这类工作。
客户的 ETL 工具几乎肯定在你到场之前就已选定。你能掌控的,是多快读懂它。
这篇文章对你有帮助吗?
感谢你的反馈!