データ提供

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

提供レイヤー

• 処理後データの保存先
• 消費のためのプロトコル

どんなデータがあるか

• どんなデータがあるか
  • 構造化データか
  • 時系列データか
• どのように消費されるか

• データウェアハウス
  • 自動レポート/ダッシュボード
  • BI/データ分析
  • 直接クエリ
• BLOB ストレージ
• 時系列データベース
• NoSQL データベース

データはどう消費されるか

• データウェアハウス
  • 自動レポート/ダッシュボード
  • BI/データ分析
  • 直接クエリ
• 機械学習モデル
• アプリケーション
  • 集計情報
  • 個別レコード
• 万能解はない

ユースケース別のデータ提供

システム	データの種類	消費ユースケース	ツール
データウェアハウス	構造化、準構造化にも対応	分析クエリ、BI/分析、レポート/ダッシュボード	BigQuery, Redshift, Snowflake
BLOB ストレージ	すべてのデータ	動画/画像処理の ML モデル、アーカイブ	S3, Cloud Storage, Azure Storage
NoSQL データベース	準構造化、時系列	API 公開、高負荷	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	構造化、準構造化にも対応	個別レコードの消費、API 公開、低〜中負荷	Postgres, MySQL, Oracle

提供 vs. 消費

Let's practice!

現代のデータアーキテクチャを理解する