Вирішення проблем у Kafka

Вступ до Apache Kafka

Mike Metzger

Data Engineering Consultant

«Допоміжна» поведінка

Kafka намагається допомагати користувачам
Але інколи це створює проблеми
Типово топік не мусить існувати до запису
Уявіть, що ви помилились у назві топіка (наприклад, ordrs замість orders)

Збентежений пес

¹ Зображення: Dex Ezekiel, Unsplash

«Допоміжний» приклад

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

Проблеми зі з'єднанням

Kafka — мережева служба
Будь-які мережеві збої можуть порушити зв'язок з Kafka
Переглядайте вивід команд, щоб знайти можливі причини

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Переконайтеся, що служба Kafka запущена (ps ax | grep kafka, netstat -tlnp | grep 9092)
Перевірте наявність проблем із фаєрволом
Перевірте правильність порту / IP

Інші типові проблеми

Споживачі:
- Використовуйте --from-beginning, якщо потрібні старі повідомлення
- Не забудьте --max-messages, щоб прочитати фіксовану кількість
Усі інструменти:
- Не забудьте додати --bootstrap-server
- Більшість помилок зрозумілі та підказують рішення
- Є опція --help для деталей

Давайте потренуємось!

Вступ до Apache Kafka