FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

到客户现场第一天,如何读懂陌生的 Apache NiFi 数据流

先看懂三个基本构件,再找到那个满了的队列,查清每条记录的历史,第一次 NiFi 故障就能应付过去。

分享微博

要点速览

  • NiFi 的设计目标是自动化系统之间的数据流转,任何数据流归根结底都由 FlowFile、Processor 和 Connection 组成
  • 每个 Connection 都是一个队列:一旦达到阈值,上游的 Processor 就不再被调度
  • Kafka 适合小消息,NiFi 常作为数据接入网关部署在它前面
一个假设的 NiFi 数据流示意图:REST 端点把数据送入 RouteOnAttribute。hoa_don 分支通往财务系统;另一分支经过一个已满的队列(阈值为 10,000 个 FlowFile),再到达变慢的 Kafka。一个背压箭头从队列指回 RouteOnAttribute,表示上游 Processor 不再被触发。
Kafka 变慢时,它前面的队列会逐渐积满。达到阈值后,上游 Processor 停止触发,不再把更多工作往下游推。来源:NiFi 用户指南中的背压阈值示例;图中数据流为本文构建的假设示例。

NiFi 最初诞生于美国国家安全局(NSA),当时名为 Niagarafiles。2014 年 11 月,它通过 NSA 的技术转移计划进入 Apache 孵化器,2015 年 7 月 20 日成为 Apache 顶级项目。

十多年过去,项目仍在定期发版:官方发布说明显示,最新版本是 2026 年 9 月 13 日发布的 2.12.0。

存活这么久的工具,往往已经深深嵌入企业的基础设施。NiFi 官网就列出了它在安全、可观测性、事件流乃至生成式 AI 数据管道中的用途。当你到客户现场搭建智能体或 RAG 系统时,你需要的数据很可能早已在别人搭好的 NiFi 数据流里流转。

你不必成为 NiFi 专家,但需要能读懂这条数据流,问出对的问题,并且知道什么时候不该再推荐一个新工具。

读懂陌生的数据流,三个基本构件就够了

NiFi 的概览文档把它的目标说得很直白:自动化系统之间的数据流转。数据流中的一切都可以归结为三个基本构件。FlowFile 是流动中的一份数据。Processor 是真正干活的地方:路由、转换、发送。Connection 是连接各个 Processor 的队列。

它们背后是 Flow Controller,负责在 Processor 之间协调 FlowFile 的交接,并管理线程。由于 Connection 是队列,两端的组件可以以不同速度运行。但每个队列都有容量上限,下一节会讲到队列满了会发生什么。

打开一条陌生的数据流时,顺着数据走:找到第一个接收数据的 Processor,逐个追踪 Connection,记下每一个分支。这张手绘的地图,就是你用来核对客户文档的依据。

一个小型数据流,逐步拆解

来看一个假设的例子。某客户通过 REST 端点接收合作伙伴发来的文档。NiFi 的主要厂商 Cloudera 描述过这种模式:搭建一个端点,让外部方把数据发进来。其中一些文档是发票,需要送到财务系统;另一些是小型日志,需要发往 Kafka。

分支使用 RouteOnAttribute。这个 Processor 至少要添加一个用户自定义属性才有效,每个属性都会成为一个同名的 relationship。添加一个名为“invoice”的属性,立刻就得到一个“invoice”分支,可以连到写入财务系统的 Processor。其余数据全部走 Kafka 分支。

现在假设 Kafka 变慢了。发往 Kafka 的 Processor 前面的队列逐渐积压,按照用户指南中的示例,队列达到 10,000 个 FlowFile 的阈值后,上游的 Processor 就不再被调度。这就是背压:上游暂停,等待下游,而不是继续往里塞更多工作。

这种设计与 Cloudera 的建议一致:NiFi 支持多种协议,适合充当数据接入网关;而 Kafka 更适合小消息,不适合大文件。如果客户打算把大体积的 PDF 文件直接推进 Kafka,这个问题值得提出来。

排障时要依赖的两个机制

NiFi 文档把保证投递视为核心理念,即便在超大规模下也是如此。这一保证的基础是预写日志和内容仓库,二者都做了持久化存储。

另一个机制是数据溯源。NiFi 记录每个 FlowFile 的历史,而且由于内容不可变,每个事件都指向当时那份确切的数据。客户说“我们的记录不见了”时,第一步是查这条记录的溯源信息,再去看代码。

不过有一个限制要跟客户讲清楚:内容一旦从仓库中删除,重放能力也随之受限。如果故障发生在上周,不要承诺一定能重跑。

容易过度承诺的地方

与环境相关的配置通过 Parameter Context 管理。每个 Process Group 只能指定一个 Parameter Context,但一个 Context 可以被多个 Group 共享。客户想把数据流从开发环境迁到生产环境时,要立刻检查他们如何划分 Context,因为一个环境的配置值很容易在这里串到另一个环境。

NiFi 也不能替代一切。Cloudera 表示,它在某些情况下可以替代 ETL,也能跑批处理,但并非所有场景都适用。对于设备或远程服务器上产生的数据,可以用 MiNiFi:一个在数据源上或靠近数据源运行的代理,有 C++ 和 Java 两个版本。

第一周要问的一个问题:他们的集群跑的是哪条版本线?NiFi 2.0.0 直到 2024 年 11 月 4 日才正式发布,所以你参考的文档和经验必须与这条版本线完全对应。

先学什么,简历上写什么

合理的学习顺序是:先学三个基本构件,再学背压,然后是数据溯源,最后才是 Parameter Context。前三项帮你排障,最后一项帮你部署。

阅读前线部署工程师(FDE)的招聘信息时,留意 NiFi、MiNiFi、data flow 或 ingestion 等关键词。它们说明这个岗位除了构建模型,还会涉及现有的数据基础设施。

简历上,写一句具体的“利用数据溯源诊断卡住的数据,并调优 Kafka 前的背压阈值”,比在技能栏里列一个“NiFi”更有分量。

智能体只能使用送到它面前的数据。在已经运行 NiFi 的客户那里,写第一个 prompt 之前,你该画的第一张图就是这条数据流。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力见客户 IT 之前,先在本机跑通企业 SSO一个 Keycloak 容器加一份 realm JSON 文件,就能带着跑通的登录流程去开会。