Risoluzione dei problemi in Kafka

Introduzione ad Apache Kafka

Mike Metzger

Data Engineering Consultant

Comportamenti "d'aiuto"

Kafka prova a essere d'aiuto
A volte però crea problemi
Per impostazione predefinita, un topic non deve esistere prima di scriverci
Pensa a cosa succede se sbagli il nome di un topic (es. ordrs invece di orders)

Foto di un cane confuso

¹ Immagine per gentile concessione di Dex Ezekiel su Unsplash

Esempio "d'aiuto"

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Problemi di connettività

Kafka è un servizio in rete
Qualsiasi problema di rete può causare errori di comunicazione
Guarda l'output dei comandi per individuare possibili cause

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Verifica che il servizio Kafka sia in esecuzione (ps ax | grep kafka, netstat -tlnp | grep 9092)
Controlla possibili problemi di firewall
Verifica porta/IP corretti

Altri problemi comuni

Consumer:
- Usa --from-beginning se ti servono messaggi vecchi
- Ricorda --max-messages per leggere solo una certa quantità
Tutti gli strumenti:
- Ricorda di includere --bootstrap-server
- La maggior parte degli errori è chiara e indica possibili soluzioni
- Gli strumenti hanno anche --help per ulteriori dettagli

Esercitiamoci!

Introduzione ad Apache Kafka