Kafka のコンシューマー

Apache Kafka 入門

Mike Metzger

Data Engineering Consultant

コンシューマーとは

  • Kafka のトピックからメッセージを読む
    • サブスクライバーと呼ぶこともある
  • Kafka はトピックに保存されたメッセージをコンシューマーに提供
  • コンシューマーは多数作成可能
  • 1 つ以上のトピックを読み取り可能
Apache Kafka 入門

コンシューマーの種類

  • さまざまな種類のコンシューマー
    • コマンドライン
      • kafka-console-consumer.sh
    • Python
    • Java
    • 多数の他言語
    • Kafka Connect
Apache Kafka 入門

kafka-console-consumer.sh

  • 他の Kafka ツールと同様に bin/ フォルダにある
    • bin/kafka-console-consumer.sh
  • 複数のオプションがあり、一部は必須
  • 必須オプションは kafka-console-producer と同じ
    • --topic
    • --bootstrap-server
  • 既定ではリアルタイム表示し、位置を保持する接続を開く
  • 終了は Ctrl-C
Apache Kafka 入門

任意引数

  • --from-beginning
    • 既読を含め、トピック内の全メッセージ送信を指示
  • --max-messages <number>
    • 指定数まで読み込んだら終了
Apache Kafka 入門

対話型の例

  • 対話型の例
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic testing --from-beginning

This is the first message
This is the second message
This is the third message
<ctrl+c to exit>
Apache Kafka 入門

非対話型の例

  • 非対話型
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 /
  --topic testing --from-beginning --max-messages 2

This is the first message
This is the second message
<automatically exits>
Apache Kafka 入門

練習してみましょう！

Apache Kafka 入門

Preparing Video For Download...