資料整合

資料庫設計

Lis Sulmont

Curriculum Manager

什麼是資料整合

 

 

 

資料整合將不同來源、格式與技術的資料整合,為使用者提供一致且可理解的單一視圖。

資料庫設計

商務情境範例

  • 360 度顧客視圖
  • 併購
  • 舊有系統
資料庫設計

統一資料模型

代表統一資料模型的資料庫圖示

資料庫設計

資料來源

三個資料來源尚未連到統一資料模型

資料庫設計

資料來源格式

三個資料來源尚未連到統一資料模型且格式各異

資料庫設計

統一資料模型的格式

三個格式各異的資料來源尚未連到統一資料模型(Redshift 資料倉儲)

資料庫設計

範例:DataCamp

三個格式各異且來自不同部門的資料來源,尚未連到統一資料模型(Redshift 資料倉儲)

資料庫設計

更新頻率-銷售

三個資料來源每天更新

資料庫設計

更新頻率-航班

三個資料來源即時更新

資料庫設計

不同的更新頻率

三個資料來源在不同時間更新

資料庫設計

這麼簡單嗎?

三個資料來源連到統一資料模型

資料庫設計

沒那麼簡單

三個資料來源每天更新,上面畫著大大的 X

資料庫設計

轉換處理

將三個資料來源轉換以符合統一資料模型

資料庫設計

轉換工具

透過 ETL 將三個資料來源處理到統一資料模型

資料庫設計

如何選擇資料整合工具

  • 彈性
  • 可靠
  • 可擴展
資料庫設計

自動化測試與主動警示

ETL 圖示,各階段皆有測試圖示

資料庫設計

資安

ETL 圖示,標示應從來源到目的地受限的資料區塊

資料庫設計

資安-信用卡去識別化

ETL 圖示,信用卡資料已匿名化

資料庫設計

資料治理-血緣追蹤

ETL 圖示,以一條線表示資料從來源到目的地的流向

資料庫設計

一起來練習吧!

資料庫設計

Preparing Video For Download...