Apache Spark – это Big Data фреймворк с открытым исходным кодом для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop, но не привязанный к Hadoop (кластеру) как таковому. В этом митапе разберемся с тем, что нового в практику использования Spark привносит Kubernetes (как кластер менеджер).
Митап проводит специализированный учебный центр по технологиям Big data - Школа Больших данных. https://www.bigdataschool.ru/
Митап рассчитан на инженеров данных, разработчиков и просто интересующихся: специальной подготовки не требуется, все будет происходить в среде Jupyter в Яндекс облаке. Неплохо немного знать python, но это необязательно. Во время митапа будет немного теории и много практики — будем вместе в Яндекс облаке практиковаться в использовании Spark на Kubernetes (используя Managed Kubernetes от Yandex), обязательно коснемся вопросов установки и настройки. На выходе вы сможете самостоятельно использовать Apache Spark на Kubernetes (например, в варианте Minikube), материалы митапа — Jupyter ноутбуки — позволят вам продолжить практиковаться со Spark на Kubernetes самостоятельно. Стенд будет работать до полуночи — желающие смогут продолжить попрактиковаться и порешать задачи даже после окончания митапа.
Длительность: 2 ак. часа
Программа митапа
- Теория: краткое знакомство с Apache Spark
Немного теории — состав, архитектура, основные абстракции, принцип работы
- Практика: Spark на Kubernetes
Установка и настройка.
Особенности использования
Выполнение своего pyspark кода в интерактивном и batch режимах (client & cluster execution modes)
Работа с источниками (S3, JDBC)
Контактная информация: info@bigdataschool.ru, +7 (495) 41-41-121, @Bigdataschool_mck
МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ WEBINAR. Ссылка на подключение к митапу придет на указанную почту за 1 час до начала мероприятия.