На мастер-классе вы будете настраивать и запускать в кластере Managed Service for Kubernetes приложения обработки данных, как в пакетном, так и в потоковом режимах на Apache Spark и Apache Flink. 

Практика будет происходить в интерактивной среде подготовленной нашей школой, в Yandex Cloud

Практические занятия будут проводиться в 2 этапа:

• Подготовка рабочего окружения;
• Настройки и запуск в Kubernetes приложений пакетной и потоковой обработки данных на Apache Spark и Apache Flink;

Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.

Программа мастер-класса

1. Сравнительный анализ менеджеров ресурсов приложений распределенной обработки данных, какие преимущества дает Kubernetes: теория
2. Разбор паттернов управления приложениями потоковой обработки Apache Spark и Apache Flink: теория, практическое задание, разбор кэйсов
3. Разбор паттернов управления приложениями пакетной обработки Apache Spark и Apache Flink: теория, практическое задание, разбор кэйсов
4. Apache Beam как унифицированная модель для описания трансформаций данных: теория, практическое задание, разбор кэйсов
5. Реализация CI/CD для приложений потоковой обработки данных (на примере Apache Flink и Apache Spark): теория, практическое задание, разбор кэйсов
6. Реализация CI/CD для приложений пакетной обработки данных (на примере Apache Flink и Apache Spark): теория, практическое задание, разбор кэйсов

Чтобы записаться на мастер-класс: 

bigdataschool.ru/courses/modeli-i-p...