Azure Event Hubs로 스트리밍 데이터 처리

Azure 이벤트 기반 및 메시지 기반 솔루션 개발

Fiodar Sazanavets

Senior Software Engineer and Microsoft MVP

Event Hubs 소개

Event Hubs 개요

• 완전 관리형 실시간 데이터 통합 서비스
• 대량 스트리밍 처리에 최적화
• 텔레메트리, 로그, 앱 이벤트에 활용
• 빅데이터·분석 파이프라인에 적합

Event Hubs와 Event Grid 비교

• Event Grid와 목적이 다름
• Event Grid는 이벤트 기반 아키텍처용
• Event Hubs는 고처리량 이벤트 수집·스트리밍에 초점(처리·분석용)

대규모에서의 Event Hubs 작동 방식

• 초당 수백만 건 이벤트 수집
• 이벤트는 임시 파티션에 저장
• 분석, 시각화, 저장에 활용

대규모에서도 동작하는 Event Hubs

• 파티션으로 고처리량 수집
• 파티셔닝으로 병렬 처리 가능
• 특정 오프셋/시간부터 재생 지원
• 일시적 장애 시에도 이벤트 전달 보장

Event Hubs와 Event Grid 통합

Event Hubs와 Event Grid 통합

• Event Grid는 이벤트 기반 아키텍처용입니다.
• Event Hubs:
  • 이벤트 데이터 분석, 저장, 시각화에 적합
  • Azure Stream Analytics, Databricks, Kafka와 원활 통합
  • 이벤트 버퍼링 지원

Event Hubs 소비자 연결

• 대상 서비스는 Event Hub의 소비자로 동작합니다.

• 소비자는 파티션에서 이벤트를 읽습니다.

• 클라이언트 연결 정보:

  • Event Hubs 네임스페이스
  • Event Hub 이름
  • 인증용 액세스 키

Event Hubs 고급 기능

• 체크포인팅으로 중단 지점부터 재개할 수 있습니다.

• 배치 처리로 처리량을 높일 수 있습니다.

• 단건 처리로 저지연 시나리오를 지원합니다.

실습해 봅시다!

Azure 이벤트 기반 및 메시지 기반 솔루션 개발