×

Создание инстанса Apache Kafka и первое подключение

 

ВВЕДЕНИЕ

 
Apache Kafka — платформа потоковой передачи событий: приложения-производители пишут сообщения в топики, потребители читают их независимо и в своём темпе. Партиции топика дают параллелизм обработки и сохраняют порядок событий внутри каждой партиции. Kafka используют для обмена событиями между сервисами, сбора логов и телеметрии, потоковой аналитики и буферизации нагрузок.
 
В DevSpace Kafka — управляемый сервис на базе оператора Strimzi. Вы заполняете одну форму, а платформа разворачивает готовый к работе набор: брокеры Kafka с репликацией партиций, ZooKeeper для координации и внутреннюю инфраструктуру TLS, которой Strimzi управляет автоматически. Топики описываются декларативно в той же конфигурации.
 
Чем это отличается от привычной установки на VM:
  • не нужно вручную собирать брокеры и ZooKeeper, настраивать межброкерный TLS и следить за сертификатами — PKI ведёт оператор
  • топики — часть конфигурации сервиса, а не скрипты kafka-topics.sh на брокере: нет «дрейфа» настроек
  • при отказе брокера лидерство партиций переходит к репликам автоматически
  • данные брокеров лежат на отдельных постоянных дисках
     

ПЕРЕД НАЧАЛОМ

 
Понадобятся:
 
  • доступ к пространству DevSpace и право создавать в нём сервисы
  • Kafka-клиент для проверки — например, kcat или стандартные утилиты Kafka
 
Заранее прикиньте число партиций ключевых топиков и фактор репликации: эти решения влияют на параллелизм потребителей и устойчивость к отказу брокера.
 

ПОШАГОВОЕ РУКОВОДСТВО

 

Шаг 1. Откройте Marketplace и выберите Kafka

 
Войдите в дашборд DevSpace и откройте раздел Marketplace. Найдите карточку Kafka (категория PaaS, подпись «Managed Kafka service») и откройте её. У формы две вкладки: Form (поля) и YAML (та же конфигурация текстом). Под полем имени показан tenant-id вашего пространства.
 

Шаг 2. Заполните основные поля

 
Для примера в этой статье используются значения:
 
Поле
Значение
Зачем
 Name
smtest
Имя инстанса: строчные латинские буквы, цифры, дефисы. Станет частью имён сервисов и секретов (kafka-<name>-…).
 external
включено
Опубликовать Kafka наружу через LoadBalancer (слушатель на порту 9094).
 kafka.replicas
3
Три брокера — стандартный минимум для репликации партиций с запасом на отказ одного брокера.
 kafka.resourcesPreset
c1.small
Типовой пресет CPU и памяти брокера (справочник пресетов).
 kafka.size
10Gi
Постоянный диск каждого брокера.
 storageClass
local
Класс хранилища. Выбор зависит от того, сколько экземпляров у сервиса и реплицирует ли он данные сам — подробнее в разделе «Параметры». После создания изменить нельзя.
 zookeeper.replicas
3
Три узла ZooKeeper — кворум координации.
 zookeeper.resourcesPreset
c1.small
Пресет ресурсов узлов ZooKeeper.
 zookeeper.size
5Gi
Диск каждого узла ZooKeeper.
 
Дальше в статье <name> — это имя, которое вы задали в поле Name: платформа подставляет его в имена сервисов, секретов и компонентов инстанса.
TLS настраивать не нужно: внутренний защищённый слушатель (порт 9093) включён всегда, а внешний (9094) автоматически получает TLS вместе с external. Отключение TLS на внешнем слушателе (tls.enabled: false) выставит Kafka в сеть открытым текстом и без аутентификации — только для контролируемых сетей.
 
 
 

Шаг 3. Опишите топик

 
В группе topics добавьте запись:
 
  • name— events
  • partitions— 3: три потребителя одной группы смогут читать параллельно
  • replicas— 3: копия каждой партиции на каждом из трёх брокеров
  • в config можно задать настройки топика, например min.insync.replicas: 2 — запись подтверждается, когда её получили минимум две реплики
 
Топики можно добавлять и после создания сервиса — той же формой.
 

Шаг 4. Запустите развёртывание

 
Нажмите Deploy. Откроется карточка созданного инстанса — дождитесь статуса Ready в шапке.
 

Шаг 5. Убедитесь, что все компоненты запущены

 
Статус Ready означает, что платформа применила конфигурацию сервиса, но сами компоненты после этого ещё могут запускаться: Strimzi поднимает ZooKeeper и брокеры, выпускает сертификаты. Поэтому, прежде чем подключаться, проверьте фактическое состояние развёртывания на вкладке Workloads карточки — по смыслу это аналог systemctl status на сервере: видно, что реально запущено и готово к работе.
 
В разделе Pods этой вкладки — по строке на каждый запущенный экземпляр компонента, справа в строке — статус и счётчик готовности в формате «готово/всего». Состав строк зависит от конфигурации. Для примера из этой статьи их семь:
 
  • kafka-<name>-kafka-0… kafka-<name>-kafka-2 — брокеры Kafka, по одному на kafka.replicas
  • kafka-<name>-zookeeper-0… kafka-<name>-zookeeper-2 — узлы ZooKeeper, по одному на zookeeper.replicas
  • kafka-<name>-entity-operator-…— служебный компонент Strimzi, который создаёт и обновляет топики из конфигурации
 
Сервис готов к работе, когда в каждой строке статус Running, а числа в счётчике совпадают: 1/1, 2/2, 3/3. Значение «всего» у разных компонентов своё — важно только, чтобы числа были равны.
 
Строки со статусом Succeeded и счётчиком 0/1 — это нормально: разовая задача автоматики отработала и завершилась.
Если строка со статусом Running показывает 0/1, 1/2, 1/3, развёртывание ещё не завершилось — даже если в шапке уже Ready. Сразу после создания это нормально: компонентам нужно время на запуск. Если картина долго не меняется, откройте вкладку Events: там отображаются события запуска компонентов, по ним обычно видно, на чём запуск остановился. Если причина непонятна, обратитесь в поддержку и укажите имя инстанса. Возвращайтесь к вкладке Workloads и после изменений конфигурации: если изменение перезапускает компоненты, часть строк какое-то время будет не готова.
 

Шаг 6. Получите адреса и сертификат

 
На вкладке Services карточки инстанса найдите kafka-<name>-kafka-bootstrap — это точка входа для клиентов внутри пространства:
 
  • порт 9092 — без шифрования (для приложений из того же пространства)
  • порт 9093 — с TLS
 
Для внешнего подключения (при включённом external) используется слушатель на порту 9094 с TLS. В списке сервисов появляются LoadBalancer'ы со своими внешними IP (колонка External IP): kafka-<name>-kafka-external-bootstrap — адрес для начального подключения клиентов, и по одному на каждый брокер (…-kafka-0, …-kafka-1, …-kafka-2) — к ним клиентов перенаправляет сам протокол Kafka.
 
Сертификат для проверки подлинности брокеров — на вкладке Secrets, в секрете kafka-<name>-cluster-ca-cert (ключ ca.crt). Скопируйте его значение в файл ca.crt на клиенте.
 

ПАРАМЕТРЫ

 

Общие

 
Параметр
Что делает
Значение по умолчанию
Когда менять
 external
Создаёт внешний слушатель на порту 9094 через LoadBalancer.
false
Включайте, только если клиенты работают вне пространства через публичные сети.
 tls.enabled
TLS на внешнем слушателе. Если не задан — наследует external: внешний доступ по умолчанию шифруется.
не задан
false — только для контролируемых сетей: Kafka окажется в сети открытым текстом и без аутентификации.
 topics
Список топиков: name, partitions, replicas, config.
[]
Добавляйте топики декларативно — это исключает дрейф настроек и дружит с GitOps.
 

Kafka

 
Параметр
Что делает
Значение по умолчанию
Когда менять
 kafka.replicas
Число брокеров.
3
Больше — при росте потока и числа партиций. Добавление брокеров не перераспределяет существующие партиции автоматически.
 kafka.resourcesPreset
Пресет CPU и памяти брокера (справочник пресетов).
c1.small
По нагрузке: брокерам важны и CPU, и память, и диск.
 kafka.resources.cpu / kafka.resources.memory
Явные ресурсы вместо пресета.
не заданы
Когда пресетов не хватает. Явные значения имеют приоритет. Память указывайте с единицами измерения: 512Mi, 2Gi.
 kafka.size
Постоянный диск каждого брокера.
10Gi
Под объём хранимых сообщений с учётом retention всех топиков.
 kafka.storageClass
Класс хранилища брокеров.
local — копии тома только на одном сервере
При одном экземпляре — replicated, при двух и больше обычно local, потому что ввод-вывод у replicated медленнее. Параметр неизменяемый — смена потребует нового инстанса и переноса данных. Разбор — в подсказке в конце раздела.
 

ZooKeeper

 
Параметр
Что делает
Значение по умолчанию
Когда менять
 zookeeper.replicas
Число узлов координации.
3
Обычно не менять: три узла дают кворум.
 zookeeper.resourcesPreset
Пресет ресурсов узла (справочник пресетов).
c1.small
Редко.
 zookeeper.resources.cpu / zookeeper.resources.memory
Явные ресурсы вместо пресета.
не заданы
Редко. Память указывайте с единицами измерения: 512Mi, 2Gi.
 zookeeper.size
Диск каждого узла.
5Gi
Редко.
 zookeeper.storageClass
Класс хранилища ZooKeeper.
local
Как у Kafka: неизменяемый.
 
Как выбрать класс хранилища. replicated держит копии тома на нескольких серверах платформы и переживает потерю сервера, но пишет синхронно в несколько мест, поэтому ввод-вывод у него всегда медленнее, чем у local. Критерий выбора — сколько экземпляров у сервиса и реплицирует ли он данные сам между репликами:
 
  • один экземпляр — берите replicated: другой копии данных нет, и потеря сервера означает потерю тома
  • два и больше — подходит local: копия данных уже есть на других экземплярах, а replicated под таким сервисом только замедлит запись, дублируя то, что и так продублировано
Важная оговорка: копии данных в Kafka обеспечивает фактор репликации топика, а не число брокеров. У топика, созданного с одной репликой, копий на других брокерах нет — под такие топики берите replicated.
 

ПРИМЕР КОНФИГУРАЦИИ

 
Итоговый ресурс, соответствующий шагам выше. Вкладка YAML формы показывает и принимает ту же конфигурацию.
apiVersion: apps.cozystack.io/v1alpha1
kind: Kafka
metadata:
  name: smtest
spec:
  # Внешний TLS-слушатель на порту 9094.
  external: true
 
  # Топик с тремя партициями и репликацией на все брокеры.
  topics:
    - name: events
      partitions: 3
      replicas: 3
      config:
        min.insync.replicas: 2
 
  # Три брокера Kafka.
  kafka:
    replicas: 3
    resourcesPreset: c1.small
    size: 10Gi
    storageClass: local
 
  # Кворум ZooKeeper.
  zookeeper:
    replicas: 3
    resourcesPreset: c1.small
    size: 5Gi
    storageClass: local
Производные ресурсы получают префикс kafka-: сервис kafka-<name>-kafka-bootstrap, секреты kafka-<name>-cluster-ca-cert и kafka-<name>-clients-ca-cert.
 

ПРОВЕРКА

 
Отправьте и прочитайте сообщение через внешний слушатель (TLS, сертификат из шага 6):
echo "hello" | kcat -b <внешний-адрес>:9094 -X security.protocol=ssl -X ssl.ca.location=ca.crt -t events -P
kcat -b <внешний-адрес>:9094 -X security.protocol=ssl -X ssl.ca.location=ca.crt -t events -C -c 1
 
Вторая команда должна напечатать hello.
 
Приложения из того же пространства могут подключаться проще — без TLS, по внутреннему адресу:
kafka-<name>-kafka-bootstrap:9092
 

ЧТО ДАЛЬШЕ

 
  • Подключение из приложения — укажите клиенту bootstrap-адрес. Например, на Python:
    from kafka import KafkaProducer
     
    producer = KafkaProducer(bootstrap_servers="kafka-<name>-kafka-bootstrap:9092")
    producer.send("events", b"hello")
    producer.flush()
     
    Для внешнего подключения добавьте параметры TLS (security_protocol="SSL", ssl_cafile="ca.crt") и адрес с портом 9094.
 
  • Топики — добавляйте и настраивайте декларативно в topics. Изменение числа партиций вверх поддерживается, уменьшение — нет.
  • Масштабирование — профили ресурсов и число брокеров меняются в той же форме. После добавления брокеров спланируйте перераспределение партиций. Диски можно только увеличивать.
  • Удаление — удаление инстанса удаляет брокеры и диски с сообщениями. Убедитесь, что данные либо перечитываемы, либо выгружены.