Crearea și gestionarea clusterelor Kafka

Introducere în Apache Kafka

Mike Metzger

Data Engineering Consultant

Ce este ZooKeeper?

ZooKeeper este un framework pentru gestionarea informațiilor și furnizarea de servicii necesare sistemelor distribuite
Utilizat în principal de dezvoltatori pentru aplicații distribuite
- Utilizatorii interacționează cu ZooKeeper
Exemple de aplicații
- Kafka
- Hadoop
- Neo4j

Sigla Apache ZooKeeper

Ce face ZooKeeper?

ZooKeeper furnizează servicii necesare aplicațiilor distribuite
- Gestionarea configurației
- Denumirea sistemelor
- Sincronizarea între sisteme
- Servicii comune pentru grupuri de sisteme
Conceput ca un framework pentru a evita implementări personalizate ale serviciilor.
- Similar unui conector standard, precum o priză sau un racord

ZooKeeper și Kafka

Kafka utilizează ZooKeeper pentru gestionarea clusterelor
- Versiunile mai noi pot folosi KRaft
Două fișiere utilizate
- config/zookeeper.properties
- config/server.properties

# zookeeper.properties

# The directory where the 
# snapshot is stored.
dataDir=/tmp/zookeeper

# The port at which the clients 
# will connect
clientPort=2181

...

config/server.properties

Gestionează configurația specifică Kafka
- Detalii despre brokeri
- Configurație de rețea
- Locația stocării evenimentelor
- Configurații de bază pentru topicuri, inclusiv replicarea

...
# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs
# The default number of log partitions per topic.
num.partitions=1

Pornirea unui cluster Kafka

Clusterele Kafka sunt pornite în două etape

$ bin/zookeeper-server-start.sh config/zookeeper.properties

...
INFO   ______                  _                                           (org.apache.zookeeper.server.ZooKeeperServer)
INFO  |___  /                 | |                                          (org.apache.zookeeper.server.ZooKeeperServer)
INFO     / /    ___     ___   | | __   ___    ___   _ __     ___   _ __    (org.apache.zookeeper.server.ZooKeeperServer)
INFO    / /    / _ \   / _ \  | |/ /  / _ \  / _ \ | '_ \   / _ \ | '__| (org.apache.zookeeper.server.ZooKeeperServer)
INFO   / /__  | (_) | | (_) | |   <  |  __/ |  __/ | |_) | |  __/ | |     (org.apache.zookeeper.server.ZooKeeperServer)
INFO  /_____|  \___/   \___/  |_|\_\  \___|  \___| | .__/   \___| |_| (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               | |                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               |_|                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO  (org.apache.zookeeper.server.ZooKeeperServer)
...

Pornirea unui cluster Kafka (continuare)

$ bin/kafka-server-start.sh config/server.properties

INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.DataPlaneAcceptor)
INFO Kafka version: 3.7.0 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka commitId: 2ae524ed625438c5 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka startTimeMs: 1717502877829 (org.apache.kafka.common.utils.AppInfoParser)
INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
INFO [zk-broker-0-to-controller-forwarding-channel-manager]: Recorded new controller, 
     from now on will use node 815f25786085:9092 (id: 0 ra

Oprirea unui cluster Kafka

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh
Notați ordinea inversă de oprire

Să exersăm!

Introducere în Apache Kafka