Kafka-konsumenter

Introduktion till Apache Kafka

Mike Metzger

Data Engineering Consultant

Vad är en konsument?

  • Läser meddelanden från Kafka-topics
    • Kallas ibland prenumeranter
  • Kafka levererar meddelanden lagrade i topics till konsumenter
  • Kan ha många konsumenter
  • Konsumenter kan läsa från ett eller flera topics
Introduktion till Apache Kafka

Typer av konsumenter

  • Många olika typer av konsumenter
    • Kommandorad
      • kafka-console-consumer.sh
    • Python
    • Java
    • Många andra språk
    • Kafka Connect
Introduktion till Apache Kafka

kafka-console-consumer.sh

  • Finns i mappen bin/, tillsammans med andra Kafka-verktyg
    • bin/kafka-console-consumer.sh
  • Flera alternativ, vissa obligatoriska
  • Obligatoriska alternativ samma som för kafka-console-producer:
    • --topic
    • --bootstrap-server
  • Öppnar som standard en anslutning där meddelanden visas i realtid och positionen bevaras.
  • Avsluta med Ctrl-C
Introduktion till Apache Kafka

Valfria argument

  • --from-beginning
    • Instruerar Kafka att skicka alla meddelanden i topicet, även sådana som redan har lästs.
  • --max-messages <number>
    • Används för att läsa upp till ett maximalt antal meddelanden innan avslut
Introduktion till Apache Kafka

Interaktivt exempel

  • Interaktivt exempel
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic testing --from-beginning
This is the first message
This is the second message
This is the third message
<ctrl+c to exit>
Introduktion till Apache Kafka

Icke-interaktivt exempel

  • Icke-interaktivt
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 /
  --topic testing --from-beginning --max-messages 2
This is the first message
This is the second message
<automatically exits>
Introduktion till Apache Kafka

Nu kör vi en övning!

Introduktion till Apache Kafka

Preparing Video For Download...