モダンなデータアーキテクチャの例

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

Lambdaアーキテクチャ

• データ処理アーキテクチャ
• 大規模データセットの処理を可能にする
• リアルタイム処理を可能にする
• バッチとストリーミングを統合
• 主な層は3つ：
  • バッチ層
  • スピード層
  • サービング層

Lambdaアーキテクチャの層：バッチ

• マスターデータセット
  • 不変データ
  • 追記のみ
• 事前計算ビュー
• 銀行口座の例
  • マスターデータセット：取引の一覧
  • ビュー：残高算出のための取引適用
• 完全な正確性

Lambdaアーキテクチャの層：スピード

• バッチは所定のスケジュールで実行
• 既知データと現実にギャップ
• スピード層がそのギャップを埋める
• 完全な正確性ではない

Lambdaアーキテクチャの層：サービング

• バッチとリアルタイムのビューを統合
• データの統一ビュー

Lambdaアーキテクチャの複雑性

• 2層で複雑性が増加
• ロジック・コード・アルゴリズムの重複
• 複数スタック：バッチとストリーミング

Kappaアーキテクチャ

Lambda vs. Kappa

項目	Lambdaアーキテクチャ	Kappaアーキテクチャ
バッチ処理	あり	事象のソースを再処理して実現
ストリーム処理	あり	あり
複雑性	高い	低い
リアルタイム処理	バッチ層で遅延	直接的でシンプル
ユースケース	複雑分析、履歴データ	リアルタイム分析、監視

練習しましょう！

現代のデータアーキテクチャを理解する