最新のデータアーキテクチャの評価

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

取り込み（Ingestion）

取り込みを強調した提案ソリューション

  • 到着パターンが不定
  • データをプルする案は？
    • ファイルを公開
    • ネットワークファイルシステム
現代のデータアーキテクチャを理解する

ストレージ

ストレージを強調した提案ソリューション

  • クラウドストレージは：

    • データウェアハウスやDBより安価
    • 柔軟で必要な API を提供

  • BigQuery は選択肢か？

    • 十分に安価
    • ただしロード制約で非現実的な場合あり

  • ライフサイクルポリシーでさらにコスト削減

現代のデータアーキテクチャを理解する

処理

ストリーミング処理を強調した提案ソリューション

  • Dataflow、Dataproc（Spark）、または Data Fusion
  • 到着パターンが不定
  • 到着次第すぐ処理
  • シンプル
  • 時系列データに適合
  • ライフサイクルポリシーで自動クレンジング
  • スキーマ保守不要
現代のデータアーキテクチャを理解する

処理：モデル採点

バッチ処理を強調した提案ソリューション

  • 全体の追跡が複雑
  • 保守が容易
  • 先行ジョブが NoSQL DB に書き込み、本ジョブで補完
現代のデータアーキテクチャを理解する

データ提供（Serving）

バッチ処理を強調した提案ソリューション

  • BigQuery は分析用途向け
  • NoSQL DB → スケールと柔軟性が容易
現代のデータアーキテクチャを理解する

その他のポイント

  • ガバナンス、オーケストレーション、セキュリティ等
  • プラットフォームと要件をさらに精緻化
  • 管理性を向上
  • 万能解はない

すべてはトレードオフ

現代のデータアーキテクチャを理解する

演習に進みましょう！

現代のデータアーキテクチャを理解する

Preparing Video For Download...