什麼是資料清理與前處理？

Alteryx 的資料準備

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

為何乾淨資料很重要？

GIGO：『Garbage In, Garbage Out』

• 清理並前處理資料可讓你：
  • 避免疏失並防止錯誤
  • 標準化資料與格式
  • 提升生產力
  • 更快得到洞見

清理資料就像是…

為車子調校——使用乾淨零件與新油液可提升效能。

 

髒資料範例

• 遺漏或不完整的資料

髒資料範例

• 遺漏或不完整的資料
• 未標準化或不一致的資料

髒資料範例

• 遺漏或不完整的資料
• 未標準化或不一致的資料
• 資料輸入錯誤

髒資料範例

• 遺漏或不完整的資料
• 未標準化或不一致的資料
• 資料輸入錯誤
• 前後空白、以及多餘字元或標點符號

資料清理技巧

處理遺漏值

• 對遺漏值進行標示或插補，例如：
  • 字串型別將 null 轉為空白
  • 數值型別將 null 插補為 0
• 從資料流中篩除遺漏資料

資料清理技巧

標準化資料

• 確保格式一致
  • 貨幣加上 $ 符號
  • 000123456
• 檢查欄位與檔名的命名規範
  • 「filename_01012004.csv」
• 調整欄位中的大小寫
  • LOCATION
• 變更資料型別

資料清理技巧

移除不必要項目

• 前後空白
• Tab 與換行
• 不需要的列或欄
• 多餘的標點、字母與數字

色碼標示的 Profile

在 Results 視窗與 Profile 的色彩對應可引導你使用資料清理技巧。

• 綠色 = OK

色碼標示的 Profile

在 Results 視窗與 Profile 的色彩對應可引導你使用資料清理技巧。

• 綠色 = OK
• 白色 = Unique

色碼標示的 Profile

在 Results 視窗與 Profile 的色彩對應可引導你使用資料清理技巧。

• 綠色 = OK
• 白色 = Unique
• 黃色 = Null

色碼標示的 Profile

在 Results 視窗與 Profile 的色彩對應可引導你使用資料清理技巧。

• 綠色 = OK
• 白色 = Unique
• 黃色 = Null
• 紅色 = Not OK（例：結尾空白）

色碼標示的 Profile

在 Results 視窗與 Profile 的色彩對應可引導你使用資料清理技巧。

• 綠色 = OK
• 白色 = Unique
• 黃色 = Null
• 紅色 = Not OK（例：結尾空白）
• 灰色 = Empty

Alteryx 的資料型別

• 瞭解各種資料型別很重要
  • 何時與如何使用
• 五大資料類別
  • Boolean－二元格式

Alteryx 的資料型別

• 瞭解各種資料型別很重要
  • 何時與如何使用
• 五大資料類別
  • Boolean－二元格式
  • Numeric－數值資料，包含 Double

Alteryx 的資料型別

• 瞭解各種資料型別很重要
  • 何時與如何使用
• 五大資料類別
  • Boolean－二元格式
  • Numeric－數值資料，包含 Double
  • String－文字資料

¹ String，範圍涵蓋 String 到 V_W String 型別。

Alteryx 的資料型別

• 瞭解各種資料型別很重要
  • 何時與如何使用
• 五大資料類別
  • Boolean－二元格式
  • Numeric－數值資料，包含 Double
  • String－文字資料
  • DateTime－日期與時間資料

Alteryx 的資料型別

• 瞭解各種資料型別很重要
  • 何時與如何使用
• 五大資料類別
  • Boolean－二元格式
  • Numeric－數值資料，包含 Double
  • String－文字資料
  • DateTime－日期與時間資料
  • Spatial－空間物件與點位

資料集說明

• Alteryx 動手做練習：
  • New York City Property Sales
  • 所有練習皆用同一資料集
  • 分析最高成交價

一起來練習吧！

Alteryx 的資料準備