資料排程

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

排程

• 可套用到資料處理中的任何任務
• 排程是系統的黏著劑
• 承接各模組並協調其合作方式
• 依序執行任務並解決所有相依性

手動、時間與感測器排程

• 手動

• 手動更新員工資料表

手動、時間與感測器排程

• 手動
• 在特定時間自動執行
• 符合特定條件時自動執行
  • 感測器排程

• 手動更新員工資料表
• 在早上 6 點更新員工資料表

手動、時間與感測器排程

• 手動
• 在特定時間自動執行
• 符合特定條件時自動執行
  • 感測器排程

• 手動更新員工資料表
• 在早上 6 點更新員工資料表
• 若新增員工，則更新各部門資料表

批次與串流

• 批次
  • 依時間區間彙整紀錄
  • 通常較省成本
• 串流
  • 立即傳送單筆紀錄

• 藝人上傳歌曲
• 員工資料表
• 營收資料表
• 新使用者註冊登入
• 另一例：線上 vs. 離線收聽

排程工具

總結

• 什麼是排程
• 設定排程的不同方式
• 批次與串流的差異
• Spotflix 的排程實作方式
• Airflow、Luigi

一起來練習吧！

Understanding Data Engineering