Criando e gerenciando clusters Kafka

Introdução ao Apache Kafka

Mike Metzger

Data Engineering Consultant

O que é o ZooKeeper?

ZooKeeper é um framework para gerenciar informações e fornecer serviços necessários a sistemas distribuídos
Usado principalmente por desenvolvedores para criar aplicações distribuídas
- Usuários interagem com o ZooKeeper
Exemplos de aplicações
- Kafka
- Hadoop
- Neo4j

Logotipo do Apache ZooKeeper

O que o ZooKeeper faz?

O ZooKeeper fornece serviços necessários para executar aplicações distribuídas
- Gerenciamento de configuração
- Nomeação do sistema
- Sincronização entre sistemas
- Serviços exigidos por um grupo de sistemas
Projetado como um framework para evitar que cada aplicação distribuída implemente versões próprias desses serviços
- Como um conector comum, como um plugue de tomada ou bico de mangueira

ZooKeeper e Kafka

O Kafka usa o ZooKeeper para gerenciar o cluster
- Versões mais novas do Kafka podem usar KRaft
Dois arquivos usados
- config/zookeeper.properties
- config/server.properties

# zookeeper.properties

# The directory where the 
# snapshot is stored.
dataDir=/tmp/zookeeper

# The port at which the clients 
# will connect
clientPort=2181

...

config/server.properties

Trata configurações específicas do Kafka
- Detalhes de brokers
- Configuração de rede
- Local de armazenamento de eventos
- Configurações básicas de tópicos, incluindo replicação

...
# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs
# The default number of log partitions per topic.
num.partitions=1

Iniciando um cluster Kafka

Clusters Kafka são iniciados em duas etapas

$ bin/zookeeper-server-start.sh config/zookeeper.properties

...
INFO   ______                  _                                           (org.apache.zookeeper.server.ZooKeeperServer)
INFO  |___  /                 | |                                          (org.apache.zookeeper.server.ZooKeeperServer)
INFO     / /    ___     ___   | | __   ___    ___   _ __     ___   _ __    (org.apache.zookeeper.server.ZooKeeperServer)
INFO    / /    / _ \   / _ \  | |/ /  / _ \  / _ \ | '_ \   / _ \ | '__| (org.apache.zookeeper.server.ZooKeeperServer)
INFO   / /__  | (_) | | (_) | |   <  |  __/ |  __/ | |_) | |  __/ | |     (org.apache.zookeeper.server.ZooKeeperServer)
INFO  /_____|  \___/   \___/  |_|\_\  \___|  \___| | .__/   \___| |_| (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               | |                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               |_|                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO  (org.apache.zookeeper.server.ZooKeeperServer)
...

Iniciando um cluster Kafka (continuação)

$ bin/kafka-server-start.sh config/server.properties

INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.DataPlaneAcceptor)
INFO Kafka version: 3.7.0 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka commitId: 2ae524ed625438c5 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka startTimeMs: 1717502877829 (org.apache.kafka.common.utils.AppInfoParser)
INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
INFO [zk-broker-0-to-controller-forwarding-channel-manager]: Recorded new controller, 
     from now on will use node 815f25786085:9092 (id: 0 ra

Parando um cluster Kafka

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh
Observe a ordem inversa de desligamento

Vamos praticar!

Introdução ao Apache Kafka