Kafka 문제 해결

Apache Kafka 입문

Mike Metzger

Data Engineering Consultant

"도움 되는" 동작

Kafka는 사용자에게 도움을 주려 함
그러나 때로는 문제가 됨
기본적으로 토픽은 쓰기 전 미리 존재할 필요 없음
토픽명을 오타 냈을 때를 생각해 보십시오(예: orders 대신 ordrs)

혼란스러워하는 강아지 사진

¹ 이미지 제공: Unsplash의 Dex Ezekiel

"도움 되는" 예시

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders

$ echo "Test message" | bin/kafka-console-producer.sh 
   --bootstrap-server localhost:9092 \
   --topic ordrs

$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

orders
ordrs

연결 문제

Kafka는 네트워크 서비스입니다
네트워크 문제는 Kafka 통신에 영향을 줍니다
출력 결과를 보고 원인 단서를 찾으십시오

bin\kafka-topics.sh --bootstrap-server localhost:9092 --list

WARN [AdminClient clientId=adminclient-1] 
  Connection to node -1 (localhost/127.0.0.1:9092) could not be established.
  Node may not be available. (org.apache.kafka.clients.NetworkClient)

Kafka 서비스가 실행 중인지 확인(ps ax | grep kafka, netstat -tlnp | grep 9092)
방화벽 문제 확인
올바른 포트/IP 확인

기타 일반 문제

컨슈머:
- 이전 메시지가 필요하면 --from-beginning 사용
- 특정 개수만 읽으려면 --max-messages 기억
모든 도구:
- --bootstrap-server를 포함해야 함
- 대부분의 오류 메시지는 명확하며 해결책을 제시함
- 추가 정보는 --help 옵션 참고

연습해 봅시다!

Apache Kafka 입문