데이터 처리

현대 데이터 아키텍처 이해하기

Miller Trujillo

Senior Software Engineer

데이터 처리는 무엇인가요?

• 탐색
• 데이터 품질: 점검 및 변환
• 분석
• 집계
• 변환

배치 처리

• 배치와 스트리밍
• 고정된 데이터량

스트리밍 처리

고정 시간 윈도우

슬라이딩 시간 윈도우

¹ https://beam.apache.org/documentation/programming-guide/#windowing

스트리밍 처리 개념

• 데이터 생성 시각
• 데이터 도착 시각
• 워터마크
• 지연 데이터
• 새 처리 트리거

처리 기술

사용 사례	해결책	클라우드 솔루션
배치/스트리밍, 빅데이터, 클러스터	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
배치/스트리밍, 빅데이터, 서버리스(서버는 제공자가 완전 관리)	Apache Spark, Beam	AWS Glue, Google Dataflow
개별 이벤트, 단순 처리, 서버 없이 24/7 지원	범용 프로그래밍 언어: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

연습해 봅시다!

현대 데이터 아키텍처 이해하기