Consumer Kafka

Giới thiệu về Apache Kafka

Mike Metzger

Data Engineering Consultant

Consumer là gì?

  • Đọc thông điệp từ các topic Kafka
    • Còn gọi là subscriber
  • Kafka cung cấp thông điệp trong topic cho consumer
  • Có thể có nhiều consumer
  • Consumer có thể đọc từ một hoặc nhiều topic
Giới thiệu về Apache Kafka

Các loại consumer

  • Nhiều loại consumer
    • Dòng lệnh
      • kafka-console-consumer.sh
    • Python
    • Java
    • Nhiều ngôn ngữ khác
    • Kafka Connect
Giới thiệu về Apache Kafka

kafka-console-consumer.sh

  • Nằm trong thư mục bin/, cùng các công cụ Kafka khác
    • bin/kafka-console-consumer.sh
  • Nhiều tùy chọn, một số bắt buộc
  • Tùy chọn bắt buộc giống kafka-console-producer:
    • --topic
    • --bootstrap-server
  • Mặc định, mở kết nối hiển thị thông điệp theo thời gian thực và giữ vị trí đọc.
  • Dùng Ctrl-C để thoát
Giới thiệu về Apache Kafka

Tham số tùy chọn

  • --from-beginning
    • Yêu cầu Kafka gửi mọi thông điệp trong topic, kể cả đã đọc.
  • --max-messages <number>
    • Đọc tối đa số thông điệp rồi thoát
Giới thiệu về Apache Kafka

Ví dụ tương tác

  • Ví dụ tương tác
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic testing --from-beginning

Đây là thông điệp thứ nhất
Đây là thông điệp thứ hai
Đây là thông điệp thứ ba
<ctrl+c để thoát>
Giới thiệu về Apache Kafka

Ví dụ không tương tác

  • Không tương tác
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 /
  --topic testing --from-beginning --max-messages 2

Đây là thông điệp thứ nhất
Đây là thông điệp thứ hai
<tự động thoát>
Giới thiệu về Apache Kafka

Hãy thực hành!

Giới thiệu về Apache Kafka

Preparing Video For Download...