Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять конвейерами обработки данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Этот отказоустойчивый ETL-фреймворк с наглядным GUI и открытым исходным кодом обеспечивает визуальное проектирование потоковых конвейеров и их надежную реализацию с гарантированной доставкой потоков данных и возможность хранить их до выгрузки их во внешние системы.

На практике Apache NiFi широко используется в следующих задачах:

• распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
• ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
• средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
• маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
• шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Аудитория

• Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
• Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi