データ取り込み

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

データ取り込みとは？

• 機能要件
• 分析が機能に影響する場合がある

バッチ取り込み

• 定期スケジュールで取り込み
• 分析用に自社プラットフォームへコピー
• 全件読み込み vs 追加分のみ読み込み
• 大規模データは部分読み込みが必要
• 小規模データは上書き可能

バッチ取り込み：変更分のみ取得

• 無限リソースは不可能
• 変更分のみ取り込む
• 更新時刻やフラグで判定
• データの最新状態を保持
• 削除はフラグまたは集約が必要

ストリーミング取り込み

• プッシュ型モデル
• イベントキュー
• 24/7 コンピュート
• ランディングゾーン

演習に進みましょう！

現代のデータアーキテクチャを理解する