Pemecahan masalah Kafka

Pengantar Apache Kafka

Mike Metzger

Data Engineering Consultant

Perilaku “membantu”

Kafka berusaha membantu pengguna
Namun kadang justru menimbulkan masalah
Secara default, topik tidak perlu ada sebelum menulis
Bayangkan jika Anda salah ketik nama topik (mis., ordrs alih-alih orders)

Gambar anjing kebingungan

¹ Gambar dari Dex Ezekiel di Unsplash

Contoh “membantu”

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Masalah konektivitas

Kafka adalah layanan berbasis jaringan
Masalah jaringan dapat mengganggu komunikasi Kafka
Lihat keluaran perintah untuk mengidentifikasi masalah

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Periksa layanan Kafka berjalan (ps ax | grep kafka, netstat -tlnp | grep 9092)
Cek firewall
Verifikasi port/IP benar

Masalah umum lainnya

Konsumer:
- Gunakan --from-beginning jika perlu pesan lama
- Ingat --max-messages untuk membaca jumlah pesan tertentu saja
Semua alat:
- Sertakan --bootstrap-server
- Sebagian besar pesan galat jelas dan mengarah ke solusi
- Alat juga punya opsi --help untuk detail lebih lanjut

Ayo berlatih!

Pengantar Apache Kafka