Apache Kafka 소개

Apache Kafka 입문

Mike Metzger

Data Engineering Consultant

소개

  • IT 경력 25년+, 데이터 18년+
  • 도구:
    • Apache Spark
    • Apache Airflow
    • Apache Kafka

Apache_Spark_logo.svg.png

1600px-AirflowLogo.png

Apache Kafka 로고

Apache Kafka 입문

Apache Kafka란?

  • 오픈 소스
  • 분산형
  • 이벤트 스트리밍
  • 대용량 데이터 처리 설계
  • 확장 가능

Apache Kafka 로고

Apache Kafka 입문

Kafka의 이벤트 스트리밍

  • 소스에서 수집
  • 신뢰성 있게 저장
  • 클라이언트로 배포
Apache Kafka 입문

주요 활용 사례

  • 전자상거래
  • 주문 추적
  • 차량 호출/배달
  • 센서 데이터
  • 사이버보안

컴퓨터 이미지

1 Photo by Carlos Muza on Unsplash
Apache Kafka 입문

Kafka 구성요소

  • 사용자 대상 구성요소

Kafka 기본 이미지

Apache Kafka 입문

Kafka 구성요소

  • 사용자 대상 구성요소
    • 토픽

토픽이 있는 Kafka

Apache Kafka 입문

Kafka 구성요소

  • 사용자 대상 구성요소
    • 토픽
    • 프로듀서(작성)

프로듀서가 있는 Kafka

Apache Kafka 입문

Kafka 구성요소

  • 사용자 대상 구성요소
    • 토픽
    • 프로듀서(작성)
    • 컨슈머(읽기)

Kafka 컨슈머 & 프로듀서

Apache Kafka 입문

Kafka 구성요소

  • 사용자 대상 구성요소
    • 토픽
    • 프로듀서(작성)
    • 컨슈머(읽기)

토픽에 기록하는 컨슈머 & 프로듀서

Apache Kafka 입문

Kafka 구성요소

  • 사용자 대상 구성요소
    • 토픽
    • 프로듀서(작성)
    • 컨슈머(읽기)

읽기/쓰기 표시 컨슈머 & 프로듀서

Apache Kafka 입문

연습해 봅시다!

Apache Kafka 입문

Preparing Video For Download...