Kafka-topics

Introductie tot Apache Kafka

Mike Metzger

Data Engineering Consultant

Wat is een topic?

Topics zijn logische groeperingen van events
- Vergelijkbaar met een tabel in een relationele database
- Eventlog
- Berichten zijn immutable
- In een topic kun je berichten lezen of schrijven, niet wijzigen
- Berichten kunnen op leeftijd worden verwijderd

Kafka topic illustration.png

Topics maken

Meerdere manieren om topics te maken

We gebruiken het script bin/kafka-topics.sh

bin/kafka-topics.sh 
    --bootstrap-server <server> 
    --topic <topicname>
    --create

Voorbeeld

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--topic orders --create

Created topic orders

Andere varianten

Optionele argumenten voor bin/kafka-topics.sh --create
- --replication-factor <x>
  - Stel de replicatiefactor van het topic in
- --partitions <x>
  - Geef handmatig het aantal partitions op

Voorbeeld

$ bin\kafka-topics.sh --bootstrap-server localhost:9092 \
--topic orders --create --replication-factor 3 \
--partitions 3

Created topic orders

--describe

bin/kafka-topics.sh --bootstrap-server <server> --topic <topicname> --describe
- Haal details op over de topicconfiguratie

Voorbeeld

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 \
   --topic orders --describe

Topic: orders-new TopicId: <topicid> PartitionCount: 3 ReplicationFactor: 1    
  Configs:
    Topic: orders-new    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
    Topic: orders-new    Partition: 1    Leader: 0    Replicas: 0    Isr: 0
    Topic: orders-new    Partition: 2    Leader: 0    Replicas: 0    Isr: 0

Topics verwijderen

bin/kafka-topics.sh --bootstrap-server <server> --topic <topicname> --delete
- Verwijdert een topic van de Kafka-server
- Verwijderen wist ook alle berichten in het topic

Voorbeeld

$ bin/kafka-topics.sh --bootstrap-server localhost:9092
  --topic orders --delete

Laten we oefenen!

Introductie tot Apache Kafka