Topics Kafka

Introduction à Apache Kafka

Mike Metzger

Data Engineering Consultant

Qu'est-ce qu'un topic ?

Les topics sont des regroupements logiques d'événements
- Similaires à une table dans une base relationnelle
- Journal d'événements
- Les messages sont immuables
- Dans un topic, on peut lire ou écrire des messages, pas les modifier
- Les messages peuvent être supprimés selon leur ancienneté

Illustration d'un topic Kafka

Créer des topics

Plusieurs façons de créer des topics

Nous utiliserons le script bin/kafka-topics.sh

bin/kafka-topics.sh 
    --bootstrap-server <server> 
    --topic <topicname>
    --create

Exemple

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--topic orders --create

Created topic orders

Autres variantes

Arguments optionnels pour bin/kafka-topics.sh --create
- --replication-factor <x>
  - Définit le facteur de réplication du topic
- --partitions <x>
  - Spécifie manuellement le nombre de partitions

Exemple

$ bin\kafka-topics.sh --bootstrap-server localhost:9092 \
--topic orders --create --replication-factor 3 \
--partitions 3

Created topic orders

--describe

bin/kafka-topics.sh --bootstrap-server <server> --topic <topicname> --describe
- Obtenir les détails de la configuration du topic

Exemple

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 \
   --topic orders --describe

Topic: orders-new TopicId: <topicid> PartitionCount: 3 ReplicationFactor: 1    
  Configs:
    Topic: orders-new    Partition: 0    Leader: 0    Replicas: 0    Isr: 0
    Topic: orders-new    Partition: 1    Leader: 0    Replicas: 0    Isr: 0
    Topic: orders-new    Partition: 2    Leader: 0    Replicas: 0    Isr: 0

Supprimer des topics

bin/kafka-topics.sh --bootstrap-server <server> --topic <topicname> --delete
- Supprime un topic du serveur Kafka
- Supprimer le topic supprime aussi tous ses messages

Exemple

$ bin/kafka-topics.sh --bootstrap-server localhost:9092
  --topic orders --delete

Passons à la pratique !

Introduction à Apache Kafka