Dépannage Kafka

Introduction à Apache Kafka

Mike Metzger

Data Engineering Consultant

Comportements « utiles »

  • Kafka cherche à aider les utilisateurs
  • Parfois, cela crée des problèmes
  • Par défaut, un topic n'a pas besoin d'exister avant l'écriture
  • Voyez ce qui se passe si vous faites une faute dans le nom d'un topic (p. ex. ordrs au lieu de orders)

Photo d'un chien perplexe

1 Image fournie par Dex Ezekiel sur Unsplash
Introduction à Apache Kafka

Exemple « utile »

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs
Introduction à Apache Kafka

Problèmes de connectivité

  • Kafka est un service en réseau
  • Tout problème réseau peut perturber les communications Kafka
  • Examinez la sortie des commandes pour repérer des problèmes potentiels

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)
  • Vérifiez que le service Kafka tourne (ps ax | grep kafka, netstat -tlnp | grep 9092)
  • Vérifiez l'absence de problèmes de pare-feu
  • Vérifiez le bon port / la bonne IP
Introduction à Apache Kafka

Autres problèmes courants

  • Consommateurs :
    • Utilisez --from-beginning si vous avez besoin d'anciens messages
    • Pensez à --max-messages pour lire une quantité précise de messages
  • Tous les outils :
    • N'oubliez pas d'inclure --bootstrap-server
    • La plupart des messages d'erreur sont clairs et indiquent des pistes de solution
    • Les outils ont aussi une option --help pour plus de détails
Introduction à Apache Kafka

Passons à la pratique !

Introduction à Apache Kafka

Preparing Video For Download...