データウェアハウスのレイヤーとは？

データウェアハウスの基本概念

Aaren Stubberfield

Data Scientist

レイヤー概要 - データソース

レイヤー概要 - データステージング

レイヤー概要 - データストレージ

レイヤー概要 - データプレゼンテーション

データソースレイヤー

• データウェアハウスの全データソース

• 例:

  • トランザクションDB
  • ログファイル
  • スプレッドシート

データステージングレイヤー

• ETLでデータを抽出・変換・クレンジング
• ETL処理とストレージテーブルを保持

ステージング内のETLプロセス

• 抽出
• ビジネスルール適用・クレンジング
• ステージングDBをよく使用
• 有効データを抽出可能であること
• バッチ／フルロード

データストレージレイヤー

• データはウェアハウスとデータマートに保存
  • データウェアハウス -> データマート
  • データマート -> データウェアハウス

データプレゼンテーションレイヤー

• 利用者が保存データを操作
• 利用者:
  • BI（ビジネスインテリジェンス）ツールを使用
  • データマイニングツールを使用
  • 直接クエリを作成

まとめ

Let's practice!

データウェアハウスの基本概念