Kafka-clusters maken en beheren

Introductie tot Apache Kafka

Mike Metzger

Data Engineering Consultant

Wat is ZooKeeper?

ZooKeeper is een framework om informatie te beheren en diensten te leveren die nodig zijn voor gedistribueerde systemen
Vooral gebruikt door developers om gedistribueerde apps te bouwen
- Gebruikers communiceren met ZooKeeper
Voorbeelden
- Kafka
- Hadoop
- Neo4j

Apache_ZooKeeper_logo.svg.png

Wat doet ZooKeeper?

ZooKeeper levert diensten die nodig zijn voor gedistribueerde apps
- Configuratiebeheer
- Systeembenaming
- Synchronisatie tussen systemen
- Groepsdiensten voor meerdere systemen
Ontworpen als framework zodat losse apps dit niet zelf hoeven te bouwen
- Zoals een gemeenschappelijke connector, bv. een stekker of slangmond

ZooKeeper en Kafka

Kafka gebruikt ZooKeeper voor clustermanagement
- Nieuwere Kafka-versies kunnen KRaft gebruiken
Twee gebruikte bestanden
- config/zookeeper.properties
- config/server.properties

# zookeeper.properties

# The directory where the 
# snapshot is stored.
dataDir=/tmp/zookeeper

# The port at which the clients 
# will connect
clientPort=2181

...

config/server.properties

Beheert specifieke Kafka-configuratie
- Brokerdetails
- Netwerkconfiguratie
- Locatie voor eventopslag
- Basis topic-instellingen, incl. replicatie

...
# A comma separated list of directories under which to store log files
log.dirs=/tmp/kafka-logs
# The default number of log partitions per topic.
num.partitions=1

Een Kafka-cluster starten

Kafka-clusters start je in twee stappen

$ bin/zookeeper-server-start.sh config/zookeeper.properties

...
INFO   ______                  _                                           (org.apache.zookeeper.server.ZooKeeperServer)
INFO  |___  /                 | |                                          (org.apache.zookeeper.server.ZooKeeperServer)
INFO     / /    ___     ___   | | __   ___    ___   _ __     ___   _ __    (org.apache.zookeeper.server.ZooKeeperServer)
INFO    / /    / _ \   / _ \  | |/ /  / _ \  / _ \ | '_ \   / _ \ | '__| (org.apache.zookeeper.server.ZooKeeperServer)
INFO   / /__  | (_) | | (_) | |   <  |  __/ |  __/ | |_) | |  __/ | |     (org.apache.zookeeper.server.ZooKeeperServer)
INFO  /_____|  \___/   \___/  |_|\_\  \___|  \___| | .__/   \___| |_| (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               | |                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO                                               |_|                      (org.apache.zookeeper.server.ZooKeeperServer)
INFO  (org.apache.zookeeper.server.ZooKeeperServer)
...

Een Kafka-cluster starten (vervolg)

$ bin/kafka-server-start.sh config/server.properties

INFO Wacht op socket-verbindingen op 0.0.0.0:9092. (kafka.network.DataPlaneAcceptor)
INFO Kafka-versie: 3.7.0 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka commitId: 2ae524ed625438c5 (org.apache.kafka.common.utils.AppInfoParser)
INFO Kafka startTimeMs: 1717502877829 (org.apache.kafka.common.utils.AppInfoParser)
INFO [KafkaServer id=0] gestart (kafka.server.KafkaServer)
INFO [zk-broker-0-to-controller-forwarding-channel-manager]: Nieuwe controller vastgelegd, 
     vanaf nu node 815f25786085:9092 (id: 0 ra

Een Kafka-cluster stoppen

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh
Let op: omgekeerde volgorde bij afsluiten

Laten we oefenen!

Introductie tot Apache Kafka