Apache Beam – унифицированный API с открытым исходным кодом, реализующий модель Dataflow, предоставляет единый интерфейс для описания пайплайнов обработки данных, которые могут быть исполнены как в потоковом, так и пакетном режимах.

На митапе вы будете описывать логику трансформации данных с применением Apache Beam, запускать в кластере Managed Service for Kubernetes приложения обработки данных, как в пакетном, так и в потоковом режимах на Apache Spark и Apache Flink, соответственно.

Практические занятия будут проводиться в 4 этапа:

1. Подготовка рабочего окружения;
2. Реализация пайплайна обработки данных с применением Apache Beam, cборка и деплой приложения на Apache Spark и Apache Flink в Kubernetes.

По результатам митапа участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.

Также у вас будет возможность задать интересующие вопросы и обсудить перспективы применения полученных знаний и рассмотренных инструментов в контексте решения ваших рабочих задач.  

Митап рассчитан на архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps- инженеров и просто интересующихся: специальной подготовки не требуется, все будет происходить в интерактивной среде в Yandex Cloud.

В результате прохождения митапа вы получите представление о модели Dataflow, а паттернах управления пайплайнами обработки данных Apache Beam в Kubernetes, а также научитесь:

• эффективно применять модель Dataflow и использовать API Apache Beam для описания логики обработки данных;
• эффективно применять паттерны управления пайплайнами обработки данных Apache Beam в Kubernetes.

Длительность: 2 ак. часа

Программа митапа

1. Сравнительный анализ менеджеров ресурсов приложений распределенной обработки данных, какие преимущества дает Kubernetes: теория
2. Введение в Kubernetes: теория и практическое задание
3. Краткий обзор паттернов управления приложениями распределенной обработки данных в Kubernetes, кэйсы применения модели Dataflow: теория
4. Apache Beam как унифицированная модель для описания трансформаций данных: теория и практическое задание

Контактная информация: info@bigdataschool.ru,  +7 (495) 41-41-121, @Bigdataschool_mck

МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ ZOOM. Ссылка на подключение к митапу придет на указанную вами почту за 1 час до начала мероприятия.