Создание инстанса Apache Kafka и первое подключение
ВВЕДЕНИЕ
Apache Kafka — платформа потоковой передачи событий: приложения-производители пишут сообщения в топики, потребители читают их независимо и в своём темпе. Партиции топика дают параллелизм обработки и сохраняют порядок событий внутри каждой партиции. Kafka используют для обмена событиями между сервисами, сбора логов и телеметрии, потоковой аналитики и буферизации нагрузок.
В DevSpace Kafka — управляемый сервис на базе оператора Strimzi. Вы заполняете одну форму, а платформа разворачивает готовый к работе набор: брокеры Kafka с репликацией партиций, ZooKeeper для координации и внутреннюю инфраструктуру TLS, которой Strimzi управляет автоматически. Топики описываются декларативно в той же конфигурации.
Чем это отличается от привычной установки на VM:
-
не нужно вручную собирать брокеры и ZooKeeper, настраивать межброкерный TLS и следить за сертификатами — PKI ведёт оператор
-
топики — часть конфигурации сервиса, а не скрипты kafka-topics.sh на брокере: нет «дрейфа» настроек
-
при отказе брокера лидерство партиций переходит к репликам автоматически
-
данные брокеров лежат на отдельных постоянных дисках
ПЕРЕД НАЧАЛОМ
Понадобятся:
-
доступ к пространству DevSpace и право создавать в нём сервисы
-
Kafka-клиент для проверки — например, kcat или стандартные утилиты Kafka
Заранее прикиньте число партиций ключевых топиков и фактор репликации: эти решения влияют на параллелизм потребителей и устойчивость к отказу брокера.
ПОШАГОВОЕ РУКОВОДСТВО
Шаг 1. Откройте Marketplace и выберите Kafka
Войдите в дашборд DevSpace и откройте раздел Marketplace. Найдите карточку Kafka (категория PaaS, подпись «Managed Kafka service») и откройте её. У формы две вкладки: Form (поля) и YAML (та же конфигурация текстом). Под полем имени показан tenant-id вашего пространства.
Шаг 2. Заполните основные поля
Для примера в этой статье используются значения:
|
Поле
|
Значение
|
Зачем
|
|
Name
|
smtest
|
Имя инстанса: строчные латинские буквы, цифры, дефисы. Станет частью имён сервисов и секретов (kafka-<name>-…).
|
|
external
|
включено
|
Опубликовать Kafka наружу через LoadBalancer (слушатель на порту 9094).
|
|
kafka.replicas
|
3
|
Три брокера — стандартный минимум для репликации партиций с запасом на отказ одного брокера.
|
|
kafka.resourcesPreset
|
c1.small
| |
|
kafka.size
|
10Gi
|
Постоянный диск каждого брокера.
|
|
storageClass
|
local
|
Класс хранилища. Выбор зависит от того, сколько экземпляров у сервиса и реплицирует ли он данные сам — подробнее в разделе «Параметры». После создания изменить нельзя.
|
|
zookeeper.replicas
|
3
|
Три узла ZooKeeper — кворум координации.
|
|
zookeeper.resourcesPreset
|
c1.small
|
Пресет ресурсов узлов ZooKeeper.
|
|
zookeeper.size
|
5Gi
|
Диск каждого узла ZooKeeper.
|
Дальше в статье <name> — это имя, которое вы задали в поле Name: платформа подставляет его в имена сервисов, секретов и компонентов инстанса.
TLS настраивать не нужно: внутренний защищённый слушатель (порт 9093) включён всегда, а внешний (9094) автоматически получает TLS вместе с external. Отключение TLS на внешнем слушателе (tls.enabled: false) выставит Kafka в сеть открытым текстом и без аутентификации — только для контролируемых сетей.
|


Шаг 3. Опишите топик
В группе topics добавьте запись:
-
name— events
-
partitions— 3: три потребителя одной группы смогут читать параллельно
-
replicas— 3: копия каждой партиции на каждом из трёх брокеров
-
в config можно задать настройки топика, например min.insync.replicas: 2 — запись подтверждается, когда её получили минимум две реплики

Топики можно добавлять и после создания сервиса — той же формой.
Шаг 4. Запустите развёртывание
Нажмите Deploy. Откроется карточка созданного инстанса — дождитесь статуса Ready в шапке.

Шаг 5. Убедитесь, что все компоненты запущены
Статус Ready означает, что платформа применила конфигурацию сервиса, но сами компоненты после этого ещё могут запускаться: Strimzi поднимает ZooKeeper и брокеры, выпускает сертификаты. Поэтому, прежде чем подключаться, проверьте фактическое состояние развёртывания на вкладке Workloads карточки — по смыслу это аналог systemctl status на сервере: видно, что реально запущено и готово к работе.
В разделе Pods этой вкладки — по строке на каждый запущенный экземпляр компонента, справа в строке — статус и счётчик готовности в формате «готово/всего». Состав строк зависит от конфигурации. Для примера из этой статьи их семь:
-
kafka-<name>-kafka-0… kafka-<name>-kafka-2 — брокеры Kafka, по одному на kafka.replicas
-
kafka-<name>-zookeeper-0… kafka-<name>-zookeeper-2 — узлы ZooKeeper, по одному на zookeeper.replicas
-
kafka-<name>-entity-operator-…— служебный компонент Strimzi, который создаёт и обновляет топики из конфигурации
Сервис готов к работе, когда в каждой строке статус Running, а числа в счётчике совпадают: 1/1, 2/2, 3/3. Значение «всего» у разных компонентов своё — важно только, чтобы числа были равны.
Строки со статусом Succeeded и счётчиком 0/1 — это нормально: разовая задача автоматики отработала и завершилась.

Если строка со статусом Running показывает 0/1, 1/2, 1/3, развёртывание ещё не завершилось — даже если в шапке уже Ready. Сразу после создания это нормально: компонентам нужно время на запуск. Если картина долго не меняется, откройте вкладку Events: там отображаются события запуска компонентов, по ним обычно видно, на чём запуск остановился. Если причина непонятна, обратитесь в поддержку и укажите имя инстанса. Возвращайтесь к вкладке Workloads и после изменений конфигурации: если изменение перезапускает компоненты, часть строк какое-то время будет не готова.
|
Шаг 6. Получите адреса и сертификат
На вкладке Services карточки инстанса найдите kafka-<name>-kafka-bootstrap — это точка входа для клиентов внутри пространства:
-
порт 9092 — без шифрования (для приложений из того же пространства)
-
порт 9093 — с TLS
Для внешнего подключения (при включённом external) используется слушатель на порту 9094 с TLS. В списке сервисов появляются LoadBalancer'ы со своими внешними IP (колонка External IP): kafka-<name>-kafka-external-bootstrap — адрес для начального подключения клиентов, и по одному на каждый брокер (…-kafka-0, …-kafka-1, …-kafka-2) — к ним клиентов перенаправляет сам протокол Kafka.
Сертификат для проверки подлинности брокеров — на вкладке Secrets, в секрете kafka-<name>-cluster-ca-cert (ключ ca.crt). Скопируйте его значение в файл ca.crt на клиенте.
ПАРАМЕТРЫ
Общие
|
Параметр
|
Что делает
|
Значение по умолчанию
|
Когда менять
|
|
external
|
Создаёт внешний слушатель на порту 9094 через LoadBalancer.
|
false
|
Включайте, только если клиенты работают вне пространства через публичные сети.
|
|
tls.enabled
|
TLS на внешнем слушателе. Если не задан — наследует external: внешний доступ по умолчанию шифруется.
|
не задан
|
false — только для контролируемых сетей: Kafka окажется в сети открытым текстом и без аутентификации.
|
|
topics
|
Список топиков: name, partitions, replicas, config.
|
[]
|
Добавляйте топики декларативно — это исключает дрейф настроек и дружит с GitOps.
|
Kafka
|
Параметр
|
Что делает
|
Значение по умолчанию
|
Когда менять
|
|
kafka.replicas
|
Число брокеров.
|
3
|
Больше — при росте потока и числа партиций. Добавление брокеров не перераспределяет существующие партиции автоматически.
|
|
kafka.resourcesPreset
|
c1.small
|
По нагрузке: брокерам важны и CPU, и память, и диск.
| |
|
kafka.resources.cpu / kafka.resources.memory
|
Явные ресурсы вместо пресета.
|
не заданы
|
Когда пресетов не хватает. Явные значения имеют приоритет. Память указывайте с единицами измерения: 512Mi, 2Gi.
|
|
kafka.size
|
Постоянный диск каждого брокера.
|
10Gi
|
Под объём хранимых сообщений с учётом retention всех топиков.
|
|
kafka.storageClass
|
Класс хранилища брокеров.
|
local — копии тома только на одном сервере
|
При одном экземпляре — replicated, при двух и больше обычно local, потому что ввод-вывод у replicated медленнее. Параметр неизменяемый — смена потребует нового инстанса и переноса данных. Разбор — в подсказке в конце раздела.
|
ZooKeeper
|
Параметр
|
Что делает
|
Значение по умолчанию
|
Когда менять
|
|
zookeeper.replicas
|
Число узлов координации.
|
3
|
Обычно не менять: три узла дают кворум.
|
|
zookeeper.resourcesPreset
|
c1.small
|
Редко.
| |
|
zookeeper.resources.cpu / zookeeper.resources.memory
|
Явные ресурсы вместо пресета.
|
не заданы
|
Редко. Память указывайте с единицами измерения: 512Mi, 2Gi.
|
|
zookeeper.size
|
Диск каждого узла.
|
5Gi
|
Редко.
|
|
zookeeper.storageClass
|
Класс хранилища ZooKeeper.
|
local
|
Как у Kafka: неизменяемый.
|
Как выбрать класс хранилища. replicated держит копии тома на нескольких серверах платформы и переживает потерю сервера, но пишет синхронно в несколько мест, поэтому ввод-вывод у него всегда медленнее, чем у local. Критерий выбора — сколько экземпляров у сервиса и реплицирует ли он данные сам между репликами:
-
один экземпляр — берите replicated: другой копии данных нет, и потеря сервера означает потерю тома
-
два и больше — подходит local: копия данных уже есть на других экземплярах, а replicated под таким сервисом только замедлит запись, дублируя то, что и так продублировано
Важная оговорка: копии данных в Kafka обеспечивает фактор репликации топика, а не число брокеров. У топика, созданного с одной репликой, копий на других брокерах нет — под такие топики берите replicated.
|
ПРИМЕР КОНФИГУРАЦИИ
Итоговый ресурс, соответствующий шагам выше. Вкладка YAML формы показывает и принимает ту же конфигурацию.
apiVersion: apps.cozystack.io/v1alpha1
kind: Kafka
metadata:
name: smtest
spec:
# Внешний TLS-слушатель на порту 9094.
external: true
# Топик с тремя партициями и репликацией на все брокеры.
topics:
- name: events
partitions: 3
replicas: 3
config:
min.insync.replicas: 2
# Три брокера Kafka.
kafka:
replicas: 3
resourcesPreset: c1.small
size: 10Gi
storageClass: local
# Кворум ZooKeeper.
zookeeper:
replicas: 3
resourcesPreset: c1.small
size: 5Gi
storageClass: local
|
Производные ресурсы получают префикс kafka-: сервис kafka-<name>-kafka-bootstrap, секреты kafka-<name>-cluster-ca-cert и kafka-<name>-clients-ca-cert.
|
ПРОВЕРКА
Отправьте и прочитайте сообщение через внешний слушатель (TLS, сертификат из шага 6):
echo "hello" | kcat -b <внешний-адрес>:9094 -X security.protocol=ssl -X ssl.ca.location=ca.crt -t events -P
kcat -b <внешний-адрес>:9094 -X security.protocol=ssl -X ssl.ca.location=ca.crt -t events -C -c 1
|
Вторая команда должна напечатать hello.
Приложения из того же пространства могут подключаться проще — без TLS, по внутреннему адресу:
kafka-<name>-kafka-bootstrap:9092
|
ЧТО ДАЛЬШЕ
-
Подключение из приложения — укажите клиенту bootstrap-адрес. Например, на Python:from kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers="kafka-<name>-kafka-bootstrap:9092")producer.send("events", b"hello")producer.flush()Для внешнего подключения добавьте параметры TLS (security_protocol="SSL", ssl_cafile="ca.crt") и адрес с портом 9094.
-
Топики — добавляйте и настраивайте декларативно в topics. Изменение числа партиций вверх поддерживается, уменьшение — нет.
-
Масштабирование — профили ресурсов и число брокеров меняются в той же форме. После добавления брокеров спланируйте перераспределение партиций. Диски можно только увеличивать.
-
Удаление — удаление инстанса удаляет брокеры и диски с сообщениями. Убедитесь, что данные либо перечитываемы, либо выгружены.
