Konsumenci Kafka

Wprowadzenie do Apache Kafka

Mike Metzger

Data Engineering Consultant

Czym jest konsument?

  • Odczytuje wiadomości z tematów Kafka
    • Czasem nazywani subskrybentami
  • Kafka dostarcza wiadomości z tematów do konsumentów
  • Może istnieć wielu konsumentów
  • Konsumenci mogą czytać z jednego lub wielu tematów
Wprowadzenie do Apache Kafka

Typy konsumentów

  • Wiele różnych rodzajów konsumentów
    • Wiersz poleceń
      • kafka-console-consumer.sh
    • Python
    • Java
    • Wiele innych języków
    • Kafka Connect
Wprowadzenie do Apache Kafka

kafka-console-consumer.sh

  • Znajduje się w folderze bin/, wraz z innymi narzędziami Kafka
    • bin/kafka-console-consumer.sh
  • Kilka opcji, niektóre wymagane
  • Wymagane opcje takie same jak w kafka-console-producer:
    • --topic
    • --bootstrap-server
  • Domyślnie otwiera połączenie, w którym wiadomości pojawiają się w czasie rzeczywistym i zachowują pozycję.
  • Użyj Ctrl-C, aby wyjść
Wprowadzenie do Apache Kafka

Argumenty opcjonalne

  • --from-beginning
    • Instruuje system Kafka, aby wysłał wszystkie wiadomości z tematu, nawet te już odczytane.
  • --max-messages <number>
    • Służy do odczytania maksymalnej liczby wiadomości przed zakończeniem
Wprowadzenie do Apache Kafka

Przykład interaktywny

  • Przykład interaktywny
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic testing --from-beginning

This is the first message
This is the second message
This is the third message
<ctrl+c to exit>
Wprowadzenie do Apache Kafka

Przykład nieinteraktywny

  • Nieinteraktywny
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 /
  --topic testing --from-beginning --max-messages 2

This is the first message
This is the second message
<automatically exits>
Wprowadzenie do Apache Kafka

Czas na ćwiczenia!

Wprowadzenie do Apache Kafka

Preparing Video For Download...