Kafka-felsökning

Introduktion till Apache Kafka

Mike Metzger

Data Engineering Consultant

"Hjälpsamma" beteenden

Kafka försöker vara hjälpsamt
Ibland orsakar det problem istället
Som standard behöver ett ämne inte finnas innan du skriver till det
Tänk på vad som händer om du stavar fel på ett ämnesnamn (t.ex. ordrs i stället för orders)

Bild på en förvirrad hund

¹ Bild av Dex Ezekiel från Unsplash

"Hjälpsamt" exempel

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Anslutningsproblem

Kafka är en nätverkstjänst
Nätverksproblem kan orsaka kommunikationsfel i Kafka
Granska kommandoutdata för att identifiera möjliga problem

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Kontrollera att Kafka-tjänsten körs (ps ax | grep kafka, netstat -tlnp | grep 9092)
Kontrollera om det finns brandväggsproblem
Verifiera rätt port och IP-adress

Andra vanliga problem

Konsumenter:
- Använd --from-beginning om du behöver äldre meddelanden
- Kom ihåg --max-messages för att läsa ett visst antal meddelanden
Alla verktyg:
- Kom ihåg att inkludera --bootstrap-server
- De flesta felmeddelanden är tydliga och pekar på troliga lösningar
- Verktygen har också ett --help-alternativ för mer information

Nu kör vi en övning!

Introduktion till Apache Kafka