資料管線

認識資料科學

Sara Billen

Curriculum Manager

$$

$$

$$

我們如何擴充？

多個資料來源：

• 公開資料
• APIs
• 資料庫

多種資料型態：

• 非結構化資料
• 表格型資料
• 即時串流資料（例如，tweets）

什麼是資料管線？

• 將資料移入定義好的階段
• 自動化蒐集與儲存
  • 排程每小時、每日、每週等
  • 由事件觸發
• 監控並發出警示
• 大數據專案必備
• 資料工程師客製化解決方案
• Extract Transform Load（ETL）

案例研究：智慧家庭

資料	來源	頻率
天氣狀況	National Weather Service API	每 30 分鐘
你所在區域的推文	Twitter API	即時串流
室內溫度	智慧家庭恆溫器	每 5 分鐘
燈光狀態	智慧燈泡	每分鐘
門鎖狀態	智慧門鎖	每 15 秒
能源用量	智慧電表	每週

Extract（擷取）

來源	頻率
National Weather API	每 30 分鐘
Twitter API	即時串流
智慧家庭恆溫器	每 5 分鐘
智慧燈泡	每分鐘
智慧門鎖	每 15 秒
智慧電表	每週

Transform（轉換）

Transform（轉換）

面對大量湧入的資料，如何維持有序且好用？

$$ 範例轉換：

• 合併多個來源為單一資料集
• 轉換資料結構以符合資料庫結構
• 移除不相關的資料

此階段不進行資料準備與探索

Load（載入）

自動化

一起來練習吧！

認識資料科學