Řešení problémů s Kafkou

Introduction to Apache Kafka

Mike Metzger

Data Engineering Consultant

„Nápomocné" chování

Kafka se snaží být uživatelsky přívětivá
Někdy to však způsobuje problémy
Ve výchozím nastavení téma nemusí existovat před zápisem
Zvažte, co se stane, pokud přepíšete název tématu (např. ordrs místo orders)

Fotografie zmateného psa

¹ Obrázek: Dex Ezekiel, Unsplash

„Nápomocný" příklad

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Problémy s připojením

Kafka je síťová služba
Problémy se sítí mohou narušit komunikaci s Kafkou
Prohlédněte výstup příkazů pro zjištění možných problémů

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Zkontrolujte, zda služba Kafka běží (ps ax | grep kafka, netstat -tlnp | grep 9092)
Zkontrolujte nastavení firewallu
Ověřte správný port / IP adresu

Další časté problémy

Konzumenti:
- Použijte --from-beginning pro starší zprávy
- Nezapomeňte na --max-messages pro omezení počtu zpráv
Všechny nástroje:
- Nezapomeňte uvést --bootstrap-server
- Chybové zprávy jsou zpravidla srozumitelné a navrhují řešení
- Nástroje mají také možnost --help pro další podrobnosti

Pojďme si to procvičit!

Introduction to Apache Kafka