1. Основы ClickHouse
- Назначение и архитектура ClickHouse
- Логическая структура базы данных
- Уровни логирования
- Преимущества и ограничения колоночных СУБД
- Сценарии использования ClickHouse
- Сценарии развертывания кластера ClickHouse и планирование установки: облако, on premises, docker.
-
Лабораторная работа: Создание кластера ClickHouse с использованием Managed Service for ClickHouse или установка в Docker, настройка подключений и написание запросов к системным таблицам.
2. Структура БД в ClickHouse
- Движки баз данных и таблиц (MergeTree, CollapsingMergeTree, Log, Memory, Buffer)
- Констрейнты, индексы, проекции
- Простые и материализованные представления
- Внешние и внутренние словари и работа с ними
Лабораторная работа: Создание баз данных, таблиц, индексов, представлений и проекций в ClickHouse.
3. Основы ClickHouse SQL
- Типы данных
- Команды DDL и DML
- Эффективное написание SQL-запросов
- Пользовательские функции
- Функции работы с датой и временем
Лабораторная работа: Пишем быстрые SQL-запросы и оптимизируем их.
4. Оптимизация и производительность
- Профилирование и EXPLAIN
- Использование system.query_log
- Партиционирование и кластеризация
- Предварительное агрегирование и кэширование данных
Лабораторная работа: Находим и ускоряем “тяжёлые” запросы. Профилирование и оптимизация запросов.
5. Распределённые системы
- Шардирование и репликация
- Настройка отказоустойчивого кластера
- Балансировка нагрузки
Лабораторная работа: Настраиваем отказоустойчивый кластер
6. Интеграция и расширенные возможности
- Работа с JSON, массивами, вложенными структурами
- Работа с географическими данными
- Потоковая обработка данных. Паттерны применения ClickPipes
- Интеграция с Kafka, PostgreSQL
- Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase
- Обработка событий в режиме реального времени
Лабораторная работа: Создаём потоковую обработку данных на ClickHouse
7. Администрирование и безопасность ClickHouse
- Управление пользователями и ролями
- Методы аутентификации
- Резервное копирование и восстановление
- Мониторинг и кастомные метрики
- Алертинг (Prometheus, Grafana)
Лабораторная работа: Настройка резервного копирования в ClickHouse. Реализация кастомных метрик, построение дашбордов, (Monitoring service – Prometheus, Visualization Tool – Grafana).
8. Итоговое тестирование
Тестирование (на английском языке) обязательно в случае дальнейшего участия в курсе подготовки к сертификации «ClickHouse Certified Developer»