資料處理

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

一般定義

• 資料處理：將 原始 資料轉為 有意義 的資訊

資料處理的價值

概念上

• 移除不需要的資料
• 最佳化記憶體、處理與網路成本
• 轉換資料型別

在 Spotflix

• 測試用功能資料不需長期保留
• 無法負擔儲存與串流這麼大的檔案

資料處理的價值

概念上

• 移除不需要的資料
• 以節省記憶體
• 轉換資料型別
• 組織資料
• 使其符合綱要／結構
• 提升生產力

在 Spotflix

• 不需無失真格式
• 無法負擔儲存超大檔案
• 將歌曲從 .flac 轉為 .ogg
• 將資料湖的資料重整到資料倉儲
• 員工資料表範例
• 讓資料科學家得以發揮

資料工程師如何處理資料

• 資料操作、清理與整理工作
  • 可自動化
  • 永遠需要進行
• 將資料存成合理結構的資料庫
• 在資料表上建立檢視
• 最佳化資料庫效能

• 拒收毀損的歌曲檔
• 決定如何處理遺漏中介資料
• 拆分藝人與專輯資料表…
• …但提供合併的檢視
• 建立索引

¹ 批次與串流的差異將在下一節說明！

重點整理

• 什麼是資料處理
• 為何需要
• 包含哪些內容
• 我們在 Spotflix 如何處理資料

一起來練習吧！

Understanding Data Engineering