# Đọc một flow Apache NiFi lạ ngay ngày đầu ở khách hàng

> Ba khối cơ bản, một hàng đợi chạm ngưỡng và lịch sử từng bản ghi là đủ cho lần gỡ sự cố đầu tiên.

Bản gốc: https://fdetimes.net/vi/cong-cu/apache-nifi-cho-fde-dinh-tuyen-du-lieu-benh-vien-chinh-phu/

NiFi ra đời ở Cơ quan An ninh Quốc gia Mỹ (NSA) dưới cái tên Niagarafiles. Tháng 11/2014, nó vào Apache Incubator qua chương trình chuyển giao công nghệ của NSA, rồi thành dự án cấp cao nhất của Apache ngày 20/7/2015.

Hơn một thập kỷ sau, dự án vẫn ra bản đều đặn: release notes chính thức ghi 2.12.0, phát hành ngày 13/9/2026, là bản mới nhất.

Một công cụ sống lâu như vậy dễ nằm sâu trong hạ tầng của doanh nghiệp. Chính trang chủ NiFi nhắc đến các ứng dụng trong bảo mật, observability, event streams và cả pipeline generative AI. Khi bạn đến khách hàng để dựng một agent hay một hệ thống RAG, dữ liệu bạn cần có thể đang chạy qua một flow NiFi do người khác dựng.

Bạn không cần thành chuyên gia NiFi. Nhưng bạn phải đọc được flow đó, biết hỏi đúng câu, và biết khi nào không nên đề xuất thêm một công cụ nữa.

## Ba khối là đủ để đọc một flow lạ

Tài liệu tổng quan của NiFi nói gọn mục đích của nó: tự động hóa luồng dữ liệu giữa các hệ thống. Mọi thứ trong một flow đều quy về ba khối. FlowFile là một đối tượng dữ liệu đang di chuyển. Processor là nơi làm việc thật: định tuyến, biến đổi, gửi đi. Connection là hàng đợi nối các processor với nhau.

Đằng sau là Flow Controller, thành phần làm trung gian trao FlowFile giữa các processor và quản lý các thread. Vì Connection là hàng đợi, các thành phần hai đầu có thể chạy với tốc độ khác nhau. Nhưng hàng đợi nào cũng có sức chứa, và phần sau sẽ cho thấy chuyện gì xảy ra khi nó đầy.

Khi mở một flow lạ, hãy đi theo hướng dữ liệu: tìm processor đầu tiên nhận dữ liệu vào, lần theo từng Connection, và ghi lại mỗi chỗ rẽ nhánh. Bản đồ tự vẽ này là thứ để bạn đối chiếu với tài liệu khách hàng đưa.

## Một flow nhỏ, đi từng bước

Lấy một ví dụ giả định. Khách hàng nhận tài liệu từ đối tác qua một REST endpoint. Cloudera, một nhà cung cấp NiFi lớn, cũng nhắc tới đúng kiểu dùng này: dựng endpoint để bên ngoài gửi dữ liệu vào. Có loại là hóa đơn cần vào hệ thống kế toán, có loại là log nhỏ cần đẩy vào Kafka.

Chỗ rẽ nhánh dùng RouteOnAttribute. Processor này chỉ hợp lệ khi bạn thêm ít nhất một thuộc tính do người dùng định nghĩa, và mỗi thuộc tính trở thành một relationship có tên riêng. Bạn thêm thuộc tính tên "hoa_don", thế là có ngay một nhánh "hoa_don" để nối sang processor ghi vào hệ thống kế toán. Phần còn lại đi sang nhánh Kafka.

Giờ giả sử Kafka chậm lại. Hàng đợi trước processor gửi Kafka đầy dần, và theo ví dụ trong User Guide, khi chạm ngưỡng 10.000 FlowFile thì processor phía trên ngừng được kích hoạt. Đó là back pressure: phía trên tự dừng chờ phía dưới, thay vì tiếp tục đẩy thêm việc vào.

Thiết kế này khớp với lời khuyên của Cloudera: NiFi nên làm cổng nhận dữ liệu vì hỗ trợ nhiều giao thức, còn Kafka hợp với message nhỏ hơn là file lớn. Nếu khách hàng định đẩy cả file PDF lớn thẳng vào Kafka, đó là câu nên hỏi lại.

## Hai cơ chế bạn sẽ dựa vào khi gỡ sự cố

Tài liệu NiFi coi guaranteed delivery là triết lý cốt lõi, kể cả ở quy mô rất lớn. Nền móng của cam kết ấy là một write-ahead log và một content repository, cả hai đều được lưu bền vững.

Cơ chế còn lại là provenance. NiFi lưu lịch sử của từng FlowFile, và vì nội dung là bất biến, mỗi sự kiện trỏ đúng tới dữ liệu tại thời điểm đó. Khi khách hàng nói "bản ghi của chúng tôi biến mất", việc đầu tiên là tra provenance của bản ghi đó, chưa phải đọc code.

**Điểm mấu chốt:** Khi dữ liệu "biến mất" trong một flow, hãy đọc lịch sử của nó trước khi đọc code.

Nhưng có một giới hạn cần nói rõ với khách hàng: khi nội dung đã bị xóa khỏi kho, khả năng phát lại (replay) cũng bị hạn chế. Nếu sự cố xảy ra từ tuần trước, đừng hứa sẽ chạy lại được.

## Những chỗ dễ hứa sai

Cấu hình theo môi trường đi qua Parameter Context. Mỗi Process Group chỉ được gán một Parameter Context, dù một context có thể dùng chung cho nhiều group. Khi khách hàng muốn đưa flow từ dev lên prod, hãy kiểm tra ngay cách họ chia context, vì đó là nơi giá trị của môi trường này dễ lọt sang môi trường kia.

NiFi cũng không thay được mọi thứ. Cloudera nói nó có thể thay ETL cho một số trường hợp và chạy được batch, chứ không phải mọi trường hợp. Với dữ liệu sinh ra ở thiết bị hay máy chủ xa, có MiNiFi, một agent chạy ngay tại hoặc sát nguồn dữ liệu, với bản C++ và Java.

Một câu nên hỏi ngay trong tuần đầu: cụm của họ đang chạy dòng phiên bản nào. NiFi 2.0.0 chỉ chính thức phát hành ngày 4/11/2024, nên tài liệu và kinh nghiệm bạn tra được phải khớp với đúng dòng đó.

## Học gì trước, và ghi gì vào CV

Thứ tự học hợp lý là ba khối cơ bản, rồi back pressure, rồi provenance, cuối cùng mới đến Parameter Context. Ba thứ đầu giúp bạn gỡ sự cố, thứ cuối giúp bạn triển khai.

Khi đọc tin tuyển dụng FDE, hãy để ý các cụm như NiFi, MiNiFi, data flow hay ingestion. Chúng cho biết vai trò này sẽ chạm vào hạ tầng dữ liệu có sẵn chứ không chỉ dựng mô hình.

Trên CV, một dòng cụ thể như "chẩn đoán dữ liệu bị kẹt bằng provenance và chỉnh ngưỡng back pressure trước Kafka" có giá trị hơn việc liệt kê "NiFi" trong mục kỹ năng.

Một agent chỉ dùng được dữ liệu đến được với nó. Ở khách hàng nào đã có NiFi, bản đồ đầu tiên bạn nên vẽ là flow ấy, trước cả prompt đầu tiên.

**Thử ngay tuần này:**

- Cài NiFi bản 2.x trên máy, dựng một flow nhận file, rẽ nhánh bằng RouteOnAttribute và cố ý đặt ngưỡng hàng đợi thấp để thấy back pressure
- Với một FlowFile bất kỳ, mở provenance và lần lại từng bước nó đã đi qua
- Rà các tin tuyển dụng FDE bạn quan tâm, đánh dấu tin nào nhắc NiFi, MiNiFi hoặc data flow

## Nguồn

- [Apache NiFi (official site)](https://nifi.apache.org/)

- [Apache NiFi Overview](https://nifi.apache.org/docs/nifi-docs/html/overview.html)

- [The Apache Software Foundation Announces Apache NiFi as a Top-Level Project](https://news.apache.org/foundation/entry/the_apache_software_foundation_announces77)

- [Apache NiFi In Depth](https://nifi.apache.org/docs/nifi-docs/html/nifi-in-depth.html)

- [Apache NiFi User Guide](https://nifi.apache.org/docs/nifi-docs/html/user-guide.html)

- [Apache NiFi Release Notes](https://cwiki.apache.org/confluence/display/NIFI/Release+Notes)

- [Apache NiFi MiNiFi](https://nifi.apache.org/projects/minifi/)

- [Top 5 Questions About Apache NiFi (Cloudera)](https://www.cloudera.com/blog/technical/top-5-questions-about-apache-nifi.html)
