スケジューリングデータ

データエンジニアリングの理解

Hadrien Lacroix

Content Developer at DataCamp

スケジューリング

• データ処理にリストされている任意のタスクに適用可能
• スケジューリングはシステムの要となる仕組み
• 各要素をまとめ、それらがどのように連携するかを整理する
• タスクを特定の順序で実行し、すべての依存関係を解決します

手動、時間およびセンサーのスケジューリング

• 手動で

• 従業員テーブルを手動で更新する

手動、時間およびセンサーのスケジューリング

• 手動
• 指定した時刻に自動実行
• 特定の条件が満たされると自動的に実行されます
  • センサーのスケジューリング

• 従業員テーブルを手動で更新する
• 午前6時に従業員テーブルを更新する

手動、時間、センサーのスケジューリング

• 手動
• 指定した時刻に自動実行
• 特定の条件が満たされた場合に自動実行されます
  • センサーのスケジューリング

• 従業員テーブルを手動で更新する
• 午前6時に従業員テーブルを更新する 新しい従業員が追加された場合、部署テーブルを更新する

バッチとストリーム

• バッチ
  • 一定間隔でレコードをグループ化
  • 多くの場合、より安い
• ストリーム
  • 個々のレコードを即時送信する

• アーティストによってアップロードされた楽曲
• 従業員テーブル
• 収益テーブル
• 新規ユーザーのサインイン
• もう1つの例: オンライン vs. オフラインのリスニング

スケジューリングツール

概要

• スケジューリングとは
• 設定方法の違い
• バッチとストリームの違い
• Spotflixにおけるスケジューリングはどのように実装されているか
• Airflow、Luigi

練習しましょう！

データエンジニアリングの理解