Кластер — основа классического подхода к организации работ с большими данными. Текущий тренд — переход на Lake House архитектуры: разделение функций Compute и Storage, в качестве Compute используются современные распределенные движки (Spark, Trino, Star Rocks и другие), для хранения используются открытые табличные форматы (Iceberg, Delta Lake, Hudi).

Чтобы понять — при чем здесь DuckDB, на что он может претендовать — нужно немного погрузиться в этот несомненно интересный продукт, разобраться в его возможностях и особенностях. Именно этим мы и займемся во время митапа.

DuckDB – это встраиваемый SQL-движок для анализа данных среднего объема (что такое "средний объем" — также разберемся во время митапа). С его помощью на рабочем мести можно быстро и с минимальной подготовкой "поработать с данными" — быстро выполнять аналитические запросы, преобразовывать данные, включая возможность работы с данными, хранящимися "в интернете", с поддержкой современных форматов (Iceberg, DeltaLake) и т.п.

Митап ориентирован на аналитиков, архитекторов, инженеров данных, разработчиков, DataOps-инженеров и тех, кто интересуется современными технологиями обработки данных.

На митапе вы:

• Узнаете, как DuckDB вписывается в современные Lake House архитектуры.
• Поймете, какие задачи он решает эффективнее классических движков вроде Spark
• На практике поработаете с DuckDB в подготовленной нами интерактивной среде (Yandex Cloud).
• Узнаете, как DuckDB работает с популярными форматами данных: Iceberg, Delta Lake и другими.

Специальной подготовки не требуется, все будет происходить в интерактивной среде, подготовленной нашими специалистами в Yandex Cloud.

После митапа каждый участник получит раздаточные материалы и набор упражнений для закрепления полученных навыков. Также вы сможете задать вопросы преподавателю-эксперту и обсудить перспективы применения полученных знаний для решения ваших рабочих задач. 

Длительность: 2 ак. часа

Митап проводит специализированный учебный центр по технологиям Big data — Школа Больших данных. https://bigdataschool.ru/

Контактная информация: info@bigdataschool.ru,  +7 (495) 41-41-121, @Bigdataschool_mck

МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ MTS-LINK. Ссылка на подключение к митапу придет на указанную вами почту за 1 час до начала мероприятия.