ПРОГРАММА КУРСА АДМИНИСТРИРОВАНИЕ КЛАСТЕРА KAFKA

1. Введение в Kafka

   • Что такое Apache Kafka?
   • Сценарии использования Kafka
   • Компоненты Kafka и Kafka экосистемы
   • Архитектура Kafka
   • Кластер Zookeeper ( Установка кластера Kafka без использования Zookeeper KIP-500)

2. Основные концепции Kafka

   • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
   • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
   • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
   • Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

   • Требования по установке кластера Kafka
   • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка кластера Kafka без использования Zookeeper KIP-500
   • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
   • Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
   • Конфигурация Listeners. Отказоустойчивость кластера Kafka.
   • Установка кластера Kafka на AWS

4. Базовые операции в Apache Kafka

   • Операции с Топиками (Topic)
   • Публикация данных с консольного Producer
   • Получение данных с консольного Consumer
   • Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

   • Оптимизация производительности компонент кластера
   • Масштабирование кластера
   • Балансировка разделов(partition) и использование Partition Reassignment Tools
   • Best Practices Kafka/Confluent
   • Мониторинг кластера Kafka
   • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

6. Интеграция с Apache Kafka

   • Использование Apache NiFi
   • Интеграция Apache Flume с Kafka
   • Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

   • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
   • Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
     логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
   • Confluent REST Proxy. Confluent Schema Registry (обзорно)
   • Репликация кластера с использованием Mirror Maker 2

8. Безопасность в Kafka

   • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
     клиентов
   • Аутентификация SSL/SASL
   • Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
   • Авторизация в Kafka
   • Управление списками управления доступом (ACL)