ПРОГРАММА КУРСА «APACHE NIFI ДЛЯ ИНЖЕНЕРОВ ДАННЫХ»
1. Введение и архитектура Apache NiFi
- Введение в NiFi
- Архитектура и основные абстракции. DataFlow. FlowFile. Processor. Data Provenance и Lineage
2. Создание DataFlow
- Наш первый dataflow: работа с атрибутами flowfile, маршрутизация, source и sink
- Репозитории, анатомия FlowFile и процессоры
- Мониторинг dataflow
- Параметризация dataflow: переменные и параметры
3. Программная обработка flowfile
- Использование скриптов в NiFi: работа с атрибутами и данными flowfile, программная маршрутизация flowfile
- Сбор данных в месте их производства с помощью Apache minifi
4. Работа с Records и Local State
- Controlling service и работа с Records и State: формат flowfile и его преобразование, State Manager и его использование
- Reporting tasks и обработка результатов
- Происхождение данных: анализ provenance и lineage