데이터 저장

데이터베이스 설계

Lis Sulmont

Curriculum Manager

데이터 구조화

1. 정형 데이터

스키마를 따름
정의된 데이터 유형 및 관계

예: SQL, 관계형 데이터베이스의 테이블

2. 비정형 데이터

스키마 없음
세계 대부분의 데이터를 차지

예: 사진, 채팅 로그, MP3

3. 반정형 데이터

고정 스키마를 따르지 않음
자기 기술적 구조

예: NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

데이터 구조화

정형 데이터와 비정형 데이터 사이의 스펙트럼을 보여주는 다이어그램

¹ Flower by Sam Oth and Database Diagram by Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

전통적 데이터베이스를 넘어선 데이터 저장

전통적 데이터베이스
- 실시간 관계형 정형 데이터 저장 ⟶ OLTP
데이터 웨어하우스
- 보관된 정형 데이터 분석 ⟶ OLAP
데이터 레이크
- 모든 구조의 데이터 저장 = 유연성 및 확장성
- 빅데이터 분석

데이터 웨어하우스

분석에 최적화 - OLAP
- 데이터 읽기/집계에 적합한 구조
- 주로 읽기 전용
여러 소스의 데이터 포함
대규모 병렬 처리(MPP)
비정규화 스키마 및 차원 모델링 사용

데이터 마트

데이터 웨어하우스의 하위 집합
특정 주제에 특화

Amazon Redshift, Google BigQuery, Azure SQL Data Warehouse

데이터 웨어하우스의 하위 집합인 데이터 마트

데이터 레이크

_모든_ 유형의 데이터를 저렴한 비용으로 저장:
- 예: 원시 데이터, 운영 DB, IoT 로그, 실시간, 관계형 및 비관계형
모든 데이터 보존, 페타바이트 규모 가능
쓰기 시 스키마 대신 읽기 시 스키마 적용
데이터 카탈로그 없으면 데이터 스왐프로 전락
Apache Spark, Hadoop 등으로 빅데이터 분석 수행
- 딥러닝 및 데이터 탐색에 유용

데이터 저장

데이터 구조화

데이터 구조화

전통적 데이터베이스를 넘어선 데이터 저장

데이터 웨어하우스

데이터 레이크

ETL

ELT

연습해 봅시다!