データの保存

データベース設計

Lis Sulmont

Curriculum Manager

構造化データ

1. 構造化データ

スキーマに従う
定義されたデータ型とリレーションシップ

_例: SQL、リレーショナルデータベース内のテーブル _

2. 非構造化データ

スキーマを持たない
世界のデータの大半を占める

例: 写真、チャットのログ、MP3

3. 半構造化データ

大きなスキーマに従わない
自己記述的な構造

例: NoSQL、XML、JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...

構造化データ

Diagram showing the spectrum between structured and unstructured data

¹ Flower by Sam Oth and Database Diagram by Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png

従来型のデータベース以外のデータ保存

従来型のデータベース
- リアルタイムのリレーショナル構造化データを保存する目的 ⟶ OLTP
データウェアハウス
- アーカイブされた構造化データの分析目的 ⟶ OLAP
データレイク
- すべての構造のデータを保存する目的 = 柔軟性とスケーラビリティ
- ビッグデータ を分析する目的

- データウェアハウス

分析に最適化 - OLAP
- データの読み取り・集計用に整理済み
- 通常は読み取り専用
複数のソースからのデータを含む
大規模並列処理（MPP）
通常は非正規化スキーマとディメンショナルモデリングを使用する

データマート

データウェアハウスの一部
特定のトピックに特化

Amazon Redshift、Google Bog Query、Azure SQL Data Warehouse

Data mart as a subset of a data warehouse

データレイク

すべての種類のデータをより低コストで保存:
- 例: 生データ、運用データベース、IoTデバイスログ、リアルタイムデータ、リレーショナルおよび非リレーショナルデータ
すべてのデータを保持し、ペタバイト単位まで拡張可能
スキーマ・オン・リード方式とスキーマ・オン・ライト方式
データをカタログ化する必要がある。そうしない場合はデータの沼 になる可能性
Apache Spark や Hadoop などのサービスを使用して ビッグデータ分析 を実行する
- 活動には非常に多くのデータが必要なため、ディープラーニングとデータ探索に有用

データの保存

構造化データ

構造化データ

従来型のデータベース以外のデータ保存

- データウェアハウス

データレイク

ETL

ELT

練習しましょう！