Depanarea Kafka

Introducere în Apache Kafka

Mike Metzger

Data Engineering Consultant

Comportamente „utile"

Kafka încearcă să fie util utilizatorilor
Uneori provoacă probleme în loc
Implicit, un topic nu trebuie să existe înainte de scriere
Considerați ce se întâmplă dacă scrieți greșit un topic (ex., ordrs în loc de orders)

Fotografie cu un câine confuz

¹ Imagine oferită de Dex Ezekiel pe Unsplash

Exemplu „util"

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Probleme de conectivitate

Kafka este un serviciu de rețea
Orice problemă de rețea poate afecta comunicațiile Kafka
Analizați rezultatul comenzilor pentru a identifica potențiale probleme

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Verificați dacă serviciul Kafka rulează (ps ax | grep kafka, netstat -tlnp | grep 9092)
Verificați eventualele probleme de firewall
Verificați portul/IP-ul corect

Alte probleme frecvente

Consumatori:
- Folosiți --from-beginning pentru mesaje mai vechi
- Folosiți --max-messages pentru a citi un număr specific de mesaje
Toate instrumentele:
- Includeți întotdeauna --bootstrap-server
- Mesajele de eroare sunt clare și indică soluții posibile
- Instrumentele au opțiunea --help pentru detalii suplimentare

Să exersăm!

Introducere în Apache Kafka