Программа курса «Администрирование кластера Kafka 4.0»

1. Введение в Apache Kafka 4.0

• • Что такое Apache Kafka
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы
  • Архитектура Kafka 4
  • Эволюция Kafka: от Zookeeper к KRaft
  • Новая архитектура без Zookeeper (KIP-500, KIP-866)
  • Что нового в Kafka 4.0: ключевые функции, изменения и совместимость
  • Кластер Zookeeper (опционально)

2. Основные концепции Kafka и компоненты

• • Как работает Kafka: Топики (Topics) и партиций (Partitions)
  • Репликация данных.Брокеры (Brokers): Развертывание. Конфигурация Multibroker
  • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
  • Потребители данных (Consumers): Очереди Consumers.
  • Архитектура с KRaft Controller’ами
  • Новый механизм управления метаданными
  • Логическая структура брокеров и quorum.

3. Установка кластера Apache Kafka

• •  Установка Kafka 4.0 в KRaft-режиме
  • Минимальные требования
  • Установка Kafka без Zookeeper
  • Настройка KRaft controllers и quorum voters
  • Примеры конфигурации kraft-controller mode
  • Sizing и планирование развертывания кластера
  • Установка Kafka c Zookeeper (обзорно)
  • Процедуры миграции с Apache Kafka 3.х на 4.0

4. Базовые операции в Apache Kafka

• • Операции с Топиками (Topic)Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

• • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools
  • Best Practices Kafka — Мониторинг кластера Kafka
  • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

6. Интеграция с Apache Kafka (обзорно)

• • Использование Apache NiFi
  • Интеграция Apache Hadoop с Kafka
  • Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

• • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
  • Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
    логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
  • REST Proxy. Schema Registry (обзорно)
  • Репликация кластера с использованием Mirror Maker 2
  • Новые подходы к rolling-обновлениям в кластере без Zookeeper

8. Безопасность в Apache Kafka ¾

• • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
  • Авторизация в Kafka
  • Управление списками управления доступом (ACL)
  • Настройка ACL в KRaft-режиме и KIP-866