Dépannage Kafka

Introduction à Apache Kafka

Mike Metzger

Data Engineering Consultant

Comportements « utiles »

Kafka tente d'aider les utilisateurs
Parfois, cela crée des problèmes
Par défaut, un sujet n'a pas à exister avant l'écriture
Que se passe-t-il si vous faites une faute au nom du sujet (p. ex., ordrs au lieu de orders)

Photo d'un chien perplexe

¹ Image offerte par Dex Ezekiel sur Unsplash

Exemple « utile »

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Problèmes de connectivité

Kafka est un service en réseau
Tout problème réseau peut nuire aux communications Kafka
Examinez la sortie des commandes pour cerner les problèmes possibles

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Vérifier que le service Kafka est en marche (ps ax | grep kafka, netstat -tlnp | grep 9092)
Vérifier les règles du pare-feu
Vérifier le bon port / la bonne IP

Autres problèmes fréquents

Consommateurs :
- Utilisez --from-beginning pour lire d'anciens messages
- Pensez à --max-messages pour limiter la quantité lue
Tous les outils :
- N'oubliez pas d'inclure --bootstrap-server
- La plupart des messages d'erreur sont clairs et suggèrent des solutions
- Les outils offrent aussi --help pour plus de détails

Passons à la pratique !

Introduction à Apache Kafka