NFED: APACHE NIFI ДЛЯ ИНЖЕНЕРОВ ДАННЫХ
2-хдневный курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных. Курс нацелен на вопросы использования возможностей Apache NiFi для построения гибкого потока обработки данных, включая программную обработку данных, работу со слабо-структурированными данными и использование локального состояния в соответствии с лучшими практиками (best practices).
ПРОГРАММА КУРСА «APACHE NIFI ДЛЯ ИНЖЕНЕРОВ ДАННЫХ»
1. Введение и архитектура Apache NiFi
- Введение в NiFi
- Архитектура и основные абстракции. DataFlow. FlowFile. Processor. Data Provenance и Lineage
2. Создание DataFlow
- Наш первый dataflow: работа с атрибутами flowfile, маршрутизация, source и sink
- Репозитории, анатомия FlowFile и процессоры
- Мониторинг dataflow
- Параметризация dataflow: переменные и параметры
3. Программная обработка flowfile
- Использование скриптов в NiFi: работа с атрибутами и данными flowfile, программная маршрутизация flowfile
- Сбор данных в месте их производства с помощью Apache minifi
4. Работа с Records и Local State
- Controlling service и работа с Records и State: формат flowfile и его преобразование, State Manager и его использование
- Reporting tasks и обработка результатов
- Происхождение данных: анализ provenance и lineage
Регистрация