AIRF: КУРС APACHE AIRFLOW Копия

3 дня практического обучения аналитиков, дата-инженеров и администраторов баз данных: анализ Big Data, организация ETL/ELT-процессов, построение корпоративных озер и хранилищ данных с масштабируемой отказоустойчивой open-source СУБД Greenplum Database.

ИТ и интернет 18+

ПРОГРАММА КУРСА DATA PIPELINE НА APACHE AIRFLOW И APACHE HADOOP

  1. Введение в AirFlow
    • История появления, решаемые задачи, место в наборе инструментов по обработке данных
    • Основные объекты (DAG, оператор и task, сенсор, объединение компонентов в DAG)
    • Процесс исполнения (worker-ы и executor-ы, параллельное и последовательное исполнение)
    • Планирование и график исполнения DAG
    • Компоненты Airflow (scheduler, административный web-интерфейс)
    • Алерты и логирование
    • Переменные и xcomm
    • Connection и работа с источниками данных
  2. Разработка Data Flow с Apache AirFlow
    • Процесс создания DAG
    • Основные операторы
    • Создание (настройка) python и bash операторов
    • Создание собственных операторов и сенсоров
    • Использование connection
    • Hooks и практические примеры использования
    • xcomm и переменные: зачем нужны и что дают
    • Возможности макроязыка (Jinja)
    • Настройка расписания и его особенности
  3. Развертывание и настройка Airflow
    • Установка Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
    • Основные параметры конфигурации
    • Использование Celery executor
    • Кластеризация (масштабируемость, отказоустойчивость)
  4. Особенности разработки и использования Airflow
    • Отладка и тестирование
    • Поиск информации в лог-файлах
    • Нюансы встраивания Airflow в CI/CD конвейеры и системы управления версиями
    • Airflow и Apache Spark

 

Поделиться:

429 дней назад
23 января 10:00 — 25 января 2023 18:00

Событие пройдет онлайн

Уже есть билет
Ссылка на онлайн-событие рассылается за час до его начала.
Получить ссылку или сделать возврат

Поделиться:

Связь с организатором

Напоминаем, что для того чтобы сделать возврат организатору можно не писать.

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов