Kafka kümeleri oluşturma ve yönetme

Apache Kafka'ya Giriş

Mike Metzger

Data Engineering Consultant

ZooKeeper nedir?

ZooKeeper, dağıtık sistemleri çalıştırmak için gerekli bilgileri yönetir ve hizmetler sağlar
Esasen geliştiriciler tarafından dağıtık uygulamalar oluşturmak için kullanılır
- Kullanıcılar ZooKeeper ile etkileşime girer
Örnek uygulamalar
- Kafka
- Hadoop
- Neo4j

Apache_ZooKeeper_logo.svg.png

ZooKeeper ne yapar?

ZooKeeper, dağıtık uygulamaları çalıştırmak için gerekli hizmetleri sağlar
- Yapılandırma yönetimi
- Sistem adlandırma
- Sistemler arası senkronizasyon
- Bir sistem grubunun gerektirdiği hizmetler
Tek tek dağıtık uygulamaların bu hizmetlerin özel sürümlerini yazmasını önleyen bir çerçeve olarak tasarlanmıştır
- Ortak bir bağlayıcı gibi; örn. priz veya hortum ucu

ZooKeeper ve Kafka

Kafka, küme yönetimi için ZooKeeper kullanır
- Kafka'nın yeni sürümleri KRaft kullanabilir
İki dosya kullanılır
- config/zookeeper.properties
- config/server.properties

# zookeeper.properties

# The directory where the 
# snapshot is stored.
dataDir=/tmp/zookeeper

# The port at which the clients 
# will connect
clientPort=2181

...

config/server.properties

Belirli Kafka yapılandırmalarını yönetir
- Aracı (broker) ayrıntıları
- Ağ yapılandırması
- Olay depolama konumu
- Çoğaltma dahil temel konu (topic) yapılandırmaları

...
# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs
# The default number of log partitions per topic.
num.partitions=1

Kafka kümesini başlatma

Kafka kümeleri iki bileşenle başlatılır

$ bin/zookeeper-server-start.sh config/zookeeper.properties

...
INFO   ______                  _                                           (org.apache.zookeeper.server.ZooKeeperServer)
INFO  |___  /                 | |                                          (org.apache.zookeeper.server.ZooKeeperServer)
INFO     / /    ___     ___   | | __   ___    ___   _ __     ___   _ __    (org.apache.zookeeper.server.ZooKeeperServer)
INFO    / /    / _ \   / _ \  | |/ /  / _ \  / _ \ | '_ \   / _ \ | '__| (org.apache.zookeeper.server.ZooKeeperServer)
INFO   / /__  | (_) | | (_) | |   <  |  __/ |  __/ | |_) | |  __/ | |     (org.apache.zookeeper.server.ZooKeeperServer)
INFO  /_____|  \___/   \___/  |_|\_\  \___|  \___| | .__/   \___| |_| (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               | |                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               |_|                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO  (org.apache.zookeeper.server.ZooKeeperServer)
...

Kafka kümesini başlatma (devam)

$ bin/kafka-server-start.sh config/server.properties

INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.DataPlaneAcceptor)
INFO Kafka version: 3.7.0 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka commitId: 2ae524ed625438c5 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka startTimeMs: 1717502877829 (org.apache.kafka.common.utils.AppInfoParser)
INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
INFO [zk-broker-0-to-controller-forwarding-channel-manager]: Recorded new controller, 
     from now on will use node 815f25786085:9092 (id: 0 ra

Kafka kümesini durdurma

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh
Kapatmanın ters sırada olduğuna dikkat ediniz

Haydi pratik yapalım!

Apache Kafka'ya Giriş