Потребители Kafka

Введение в Apache Kafka

Mike Metzger

Data Engineering Consultant

Что такое потребитель?

  • Читают сообщения из топиков Kafka
    • Иногда называются подписчиками
  • Kafka передаёт потребителям сообщения из топиков
  • Потребителей может быть много
  • Потребитель может читать из одного или нескольких топиков
Введение в Apache Kafka

Типы потребителей

  • Существует множество видов потребителей
    • Командная строка
      • kafka-console-consumer.sh
    • Python
    • Java
    • Многие другие языки
    • Kafka Connect
Введение в Apache Kafka

kafka-console-consumer.sh

  • Находится в папке bin/ вместе с другими инструментами Kafka
    • bin/kafka-console-consumer.sh
  • Поддерживает несколько параметров, часть из них обязательна
  • Обязательные параметры те же, что у kafka-console-producer:
    • --topic
    • --bootstrap-server
  • По умолчанию открывает соединение, где сообщения отображаются в реальном времени с сохранением позиции.
  • Для выхода используйте Ctrl-C
Введение в Apache Kafka

Необязательные аргументы

  • --from-beginning
    • Указывает Kafka отправить все сообщения из топика, включая уже прочитанные.
  • --max-messages <number>
    • Читает не более заданного числа сообщений, затем завершает работу
Введение в Apache Kafka

Интерактивный пример

  • Интерактивный пример
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic testing --from-beginning

This is the first message
This is the second message
This is the third message
<ctrl+c to exit>
Введение в Apache Kafka

Неинтерактивный пример

  • Неинтерактивный режим
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 /
  --topic testing --from-beginning --max-messages 2

This is the first message
This is the second message
<automatically exits>
Введение в Apache Kafka

Давайте потренируемся!

Введение в Apache Kafka

Preparing Video For Download...