데이터 웨어하우스와 데이터 레이크의 차이점은?

데이터 웨어하우징 개념

Aaren Stubberfield

Data Scientist

데이터베이스

• 행과 열의 구조화 데이터
• 트랜잭션형 데이터베이스는 거래를 저장

데이터 웨어하우스

• 데이터 수집·통합 후 분석에 제공
• 입력 데이터 소스가 많음
• 구조화 데이터 저장
• 변경이 복잡함
  • 상·하류 영향 고려 필요
• 일반적으로 100GB 초과

왜 데이터 웨어하우스인가?

• 대용량 데이터에서의 쿼리 속도
• 트랜잭션 DB의 성능 저하 방지

데이터 마트

• 분석용 관계형 데이터베이스
• 하나의 주제 영역에 집중
• 입력 데이터 소스가 적음
• 일반적으로 100GB 미만

데이터 레이크

• 조직 전체 데이터 저장소
  • 여러 부서의 데이터 포함
  • 입력 데이터 소스가 많음
  • 일반적으로 100GB 초과
• 구조화/비구조화 데이터 저장
  • 예: 동영상, 오디오, 문서

데이터 레이크

• 변경이 덜 복잡함
  • 상·하류 영향 고려가 적음
• 저장 목적이 불명확할 수 있음
  • 조직화 수준이 낮음

요약

Feature	Data Warehouse	Data Mart	Data Lake
Data structure	Structured	Structured	Structured & Unstructured
Complexity to change	Complex	Complex	Less complex
Purpose of data	Known	Known	May not be known
Coverage of departments	Covers many	Covers only one	Covers many
Data sources	Many source systems	Few sources	Many source systems
Typical size	>100 GB	<100 GB	>100 GB

실습해 봅시다!

데이터 웨어하우징 개념