Azure에서의 데이터 처리

Microsoft Azure 이해하기

Kevin James

Technical Lead and Training Architect

실시간 vs 배치 처리

• 서비스 선택 전 처리 유형을 고려: 실시간 또는 배치
• 실시간: 즉시 분석
• 배치: 예약 또는 단발성 분석

실시간 vs 배치 처리

• 서비스 선택 전 처리 유형 고려
• 실시간: 즉시 분석
• 배치: 예약 또는 단발성 분석
• 예시(의료):
  • 실시간: 응급실 대시보드
  • 배치: 주간 업데이트 대시보드
• 인프라와 비용이 달라짐

ETL 프로세스

ETL 프로세스

ETL 프로세스

처리 도구

Azure Synapse Analytics

• Microsoft Fabric의 일부
  • 빅데이터와 데이터 웨어하우스 통합
• 수집·준비·관리·전달의 통합 경험 제공
• 실시간 인사이트와 배치 처리 지원
• 고성능 분석 엔진 역할

Azure Stream Analytics

• 실시간 데이터 액세스 제공
• 간단한 쿼리 정의로 실시간 분석 구성
• Blob Storage 등 다양한 입력의 스트리밍 처리
• 즉각적 인사이트에 필수:
  • 은행 사기 탐지
  • 주식시장 동적 가격 책정

Azure Databricks

• Microsoft-Databricks 협업
  • Azure에 최적화된 분석 플랫폼
• 데이터 엔지니어링·분석·ML을 위한 통합 환경
• 데이터 과학자·엔지니어 협업 작업공간
• Data Lake 기본 지원
• 실시간 및 배치 모두 지원

Azure Data Factory

• 클라우드 기반 통합 서비스
• 데이터 워크플로 생성·예약·오케스트레이션
• ETL 프로세스 간소화
• 다양한 소스와 형식 처리
• 자동화로 유연성 향상

Azure HDInsight

• 빠르고 맞춤형 데이터 처리를 위한 관리형 서비스
• 널리 쓰이는 오픈 소스 플랫폼에서 실행:
  • Hadoop
  • Spark
  • Kafka
• 수요에 따라 손쉬운 확장
• Azure 스토리지와 원활히 연동

연습해 봅시다!

Microsoft Azure 이해하기