資料清理

資料倉儲概念

Aaren Stubberfield

Data Scientist

影片大綱

  • 資料格式調整
  • 地址剖析
  • 資料驗證
  • 移除重複
資料倉儲概念

資料格式清理

  • 將值更新為預期格式
    • 日期
    • 選項名稱
    • 大小寫
  • 確保輸出格式一致

計程車資料範例

兩個資料表合併為一個

資料倉儲概念

地址剖析

  • 將街道地址拆成各部分
  • 可用工具驗證地址
Address
1234 S Normal St, Cleveland, OH 44102
Address City State Zip
1234 S Normal St Cleveland OH 44102
資料倉儲概念

資料驗證

  • 範圍檢查
    • 值是否落在預期範圍內?
    • 例如:年齡
  • 型別檢查
    • 值是否為正確的資料型別?
    • 例如:將年齡存為字串或數值

年齡表格,第一列為 300,被標記為無效。

三欄表格,第一欄為 Age,資料型別為字串,被標記為無效。

資料倉儲概念

刪除重複列

  • 此流程會移除重複列

兩個雙欄表格要串接在一起的示意圖

最終串接後的表格,已無重複列

資料倉儲概念

資料治理

法規遵循示意圖

資料倉儲概念

一起來練習吧!

資料倉儲概念

Preparing Video For Download...