Consommateurs Kafka

Introduction à Apache Kafka

Mike Metzger

Data Engineering Consultant

Qu'est-ce qu'un consommateur ?

  • Lit des messages à partir de sujets Kafka
    • Aussi appelés abonnés
  • Kafka fournit aux consommateurs les messages stockés dans les sujets
  • Peut y avoir de nombreux consommateurs
  • Les consommateurs peuvent lire un ou plusieurs sujets
Introduction à Apache Kafka

Types de consommateurs

  • Plusieurs types de consommateurs
    • Ligne de commande
      • kafka-console-consumer.sh
    • Python
    • Java
    • Plusieurs autres langages
    • Kafka Connect
Introduction à Apache Kafka

kafka-console-consumer.sh

  • Se trouve dans le dossier bin/, avec les autres outils Kafka
    • bin/kafka-console-consumer.sh
  • Plusieurs options, dont certaines obligatoires
  • Options obligatoires, comme pour kafka-console-producer :
    • --topic
    • --bootstrap-server
  • Par défaut, ouvre une connexion où les messages s'affichent en temps réel et conserve la position.
  • Utilisez Ctrl-C pour quitter
Introduction à Apache Kafka

Arguments facultatifs

  • --from-beginning
    • Demande à Kafka d'envoyer tous les messages du sujet, même ceux déjà lus.
  • --max-messages <number>
    • Lit jusqu'à un nombre maximal de messages puis quitte
Introduction à Apache Kafka

Exemple interactif

  • Exemple interactif
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic testing --from-beginning

This is the first message
This is the second message
This is the third message
<ctrl+c to exit>
Introduction à Apache Kafka

Exemple non interactif

  • Non interactif
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 /
  --topic testing --from-beginning --max-messages 2

This is the first message
This is the second message
<automatically exits>
Introduction à Apache Kafka

Passons à la pratique !

Introduction à Apache Kafka

Preparing Video For Download...