На митапе вы будете настраивать и запускать в кластере Managed Service for Kubernetes приложения обработки данных, как в пакетном, так и в потоковом режимах на Apache Spark и Apache Flink, соответственно. Митап проводит специализированный учебный центр по технологиям Big data - Школа Больших данных. https://bigdataschool.ru/
На митапе вы узнаете о моделях и ключевых паттернах управления распределенными приложениями Apache Spark и Apache Flink на Kubernetes.
Apache Spark - фрэймворк распределенной обработки больших данных с открытым исходным кодом, реализующий микро-пакетную архитектуру.
Apache Flink – фрэймворк распределенной обработки больших данных с открытым исходным кодом, используемый в высоконагруженных приложениях обработки больших данных.
Практические занятия будут проводиться в 4 этапа:
- Подготовка рабочего окружения;
- Настройки и запуск в Kubernetes приложений пакетной и потоковой обработки данных на Apache Spark и Apache Flink, соответственно;
По результатам митапа участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.
Также у вас будет возможность задать интересующие вопросы и обсудить перспективы применения полученных знаний и рассмотренных инструментов в контексте решения ваших рабочих задач.
Митап рассчитан на архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps- инженеров и просто интересующихся: специальной подготовки не требуется, все будет происходить в интерактивной среде в Яндекс облаке.
В результате прохождения митапа вы получите представление о моделях управления распределенными приложениями на Kubernetes, а также научитесь:
- эффективно применять паттерны управления приложениями пакетной и потоковой обработки на Kubernetes;
- использовать фрэймворк Kubernetes Operator для автоматизации задач администрирования приложений.
Длительность: 2 ак. часа
Программа митапа
- Сравнительный анализ менеджеров ресурсов приложений распределенной обработки данных, какие преимущества дает Kubernetes: теория
- Введение в Kubernetes: теория и практическое задание
- Модели и паттерны управления приложениями потоковой и пакетной обработки в Kubernetes (на примере Apache Flink и Apache Spark). Преимущества использования фрэймворка Kubernetes Operator: теория и практическое задание
Контактная информация: info@bigdataschool.ru, +7 (495) 41-41-121, @Bigdataschool_mck
МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ ZOOM. Ссылка на подключение к митапу придет на указанную вами почту за 1 час до начала мероприятия.