Сегодня рассмотрим, что такое Data Build Tool, как этот ETL-инструмент связан с корпоративным хранилищем и озером данных, а также чем полезен дата-инженеру. Митап проводит специализированный учебный центр по технологиям Big data — Школа Больших данных. https://www.bigdataschool.ru/.
ETL-процессы являются неотъемлемой частью построения корпоративного хранилища или озера данных (Data Lake). Из всех этапов Extract — Transform – Load, именно преобразования являются наиболее нетривиальными, а потому трудозатратными операциями, т.к. здесь с извлеченными данными выполняется целый ряд действий:
- преобразование структуры;
- агрегирование;
- перевод значений;
- создание новых данных;
- очистка.
Для автоматизации всех этих работ используются специальные инструменты, например, Data Build Tool (DBT). DBT обеспечивает общую основу для аналитиков и дата-инженеров, позволяя строить конвейеры преобразования данных со встроенной CI/CD-поддержкой и обеспечением качества
Подробнее ознакомиться вы можете в нашей статье
Содержание митапа:
- О инструменте dbt
- Обзор dbt: Что это такое, как он работает и зачем он нужен
- Быстрая установка dbt
- Как установить dbt и начать работу с первым проектом
- Настройка проекта
- Создание нового проекта dbt: Какие файлы и директории необходимо создать и как их структурировать
- Настройка dbt проекта
- Модели dbt
- Объяснение того, что такое модель в dbt, и пример создания простой модели
- Работа с зависимостями между моделями и использование графа зависимостей
- Запуск модели
- Как запустить модель в dbt и что происходит при этом
Продолжительность митапа — 2 часа.
Контактная информация: info@bigdataschool.ru или +7 (495) 41-41-121, +7 (915) 307 0074
МЕРОПРИЯТИЕ БУДЕТ ПРОВОДИТЬСЯ НА ПЛАТФОРМЕ ZOOM