데이터 웨어하우스와 데이터 레이크
데이터 엔지니어링의 이해
Hadrien Lacroix
Content Developer
데이터 레이크가 내려다 보이는 멋진 웨어하우스
데이터 레이크와 데이터 웨어하우스
데이터 레이크
- 모든 원시 데이터 저장
- 페타바이트(100만 GB) 규모 수용 가능
- 모든 데이터 구조 저장
- 비용 효율적
- 분석이 어려움
- 최신 데이터 카탈로그 필요
- 데이터 과학자가 사용
- 빅 데이터, 실시간 분석
데이터 웨어하우스
- 특정 목적에 맞는 데이터만
- 상대적으로 작은 규모
- 주로 정형 데이터 저장
- 업데이트 비용 더 높음
- 데이터 분석에 최적화
- 데이터 분석가와 비즈니스 분석가도 사용
- 읽기 전용 애드혹 쿼리
데이터 레이크용 데이터 카탈로그
- 데이터의 출처는 어디인가요?
- 데이터가 어디에 사용되나요?
- 데이터의 소유자는 누구인가요?
- 데이터가 얼마나 자주 업데이트되나요?
- 데이터 거버넌스 측면에서 바람직한 관행
- 재현성 보장
- 카탈로그 없음 --> 데이터의 늪
데이터베이스 vs. 데이터 웨어하우스
- 데이터베이스:
- 일반적인 용어
- 넓은 의미로 컴퓨터에 저장해 활용할 수 있는 정리된 데이터
- 데이터 웨어하우스는 데이터베이스의 유형 중 하나
요약
- 데이터 레이크
- 데이터 웨어하우스
- 데이터베이스
- 데이터 카탈로그
Preparing Video For Download...
