資料管線

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

如果資料是新石油……

¹ The Economist, 2017-05-06, by David Parkins

回到資料工程

• 擷取
• 處理
• 儲存
• 需要管線
• 自動化從一站到下一站
• 提供即時、正確、相關的資料

$$

資料管線確保資料高效流動

自動化

• 擷取
• 轉換
• 合併
• 驗證
• 載入

降低

• 人工作業
• 錯誤
• 資料流動所需時間

ETL 與資料管線

ETL

• 設計資料管線的常見框架
• 1) Extract 資料
• 2) Transform 擷取的資料
• 3) Load 將轉換後資料載入另一個資料庫

資料管線

• 將資料從一個系統移至另一個系統
• 可能遵循 ETL
• 資料不一定會轉換
• 資料可直接載入應用程式

總結

• 什麼是資料管線
• 它的功能
• 為何重要
• Spotflix 如何實作資料管線
• 什麼是 ETL 與其細節

一起來練習吧！

Understanding Data Engineering