Kafka-topics

Introduktion till Apache Kafka

Mike Metzger

Data Engineering Consultant

Vad är ett topic?

Topics är logiska grupperingar av händelser
- Liknar en tabell i en relationsdatabas
- Händelselogg
- Meddelanden är oföränderliga
- Meddelanden i ett topic kan läsas eller skrivas, men inte ändras
- Meddelanden kan tas bort baserat på ålder

Illustration av ett Kafka-topic.png

Skapa topics

Det finns flera sätt att skapa topics

Vi använder skriptet bin/kafka-topics.sh

bin/kafka-topics.sh 
    --bootstrap-server <server> 
    --topic <topicname>
    --create

Exempel

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--topic orders --create

Created topic orders

Andra varianter

Valfria argument för bin/kafka-topics.sh --create
- --replication-factor <x>
  - Ange replikeringsfaktorn för topicet
- --partitions <x>
  - Ange antalet partitioner manuellt

Exempel

$ bin\kafka-topics.sh --bootstrap-server localhost:9092 \
--topic orders --create --replication-factor 3 \
--partitions 3

Created topic orders

--describe

bin/kafka-topics.sh --bootstrap-server <server> --topic <topicname> --describe
- Hämtar information om topicets konfiguration

Exempel

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 \
   --topic orders --describe

Topic: orders-new TopicId: <topicid> PartitionCount: 3 ReplicationFactor: 1    
  Configs:
    Topic: orders-new    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
    Topic: orders-new    Partition: 1    Leader: 0    Replicas: 0    Isr: 0
    Topic: orders-new    Partition: 2    Leader: 0    Replicas: 0    Isr: 0

Ta bort topics

bin/kafka-topics.sh --bootstrap-server <server> --topic <topicname> --delete
- Tar bort ett topic från Kafka-servern
- När topicet tas bort försvinner även alla dess meddelanden

Exempel

$ bin/kafka-topics.sh --bootstrap-server localhost:9092
  --topic orders --delete

Nu kör vi en övning!

Introduktion till Apache Kafka