常見資料問題

資料素養入門

Anneleen Rummens

Data Scientist

髒資料

• 髒資料是：

  • 不正確的
  • 不完整的
  • 不一致的

• 由人為錯誤、技術問題，或蒐集流程問題所致

• 垃圾進、垃圾出：髒資料會導致錯誤結論

資料錯誤

• 資料不正確或不一致
• 多由記錄值或格式時的人為或技術錯誤造成
• 因應技巧：
  • 若知道原始值或有效格式：更正資料
  • 若未知：移除資料

遺漏資料

• 資料不完整
• 何時有風險：
  • 遺漏很多資料點
  • 遺漏中存在潛在模式
• 因應技巧：
  • 移除資料
  • 插補

資料偏差

• 社會偏見會反映在資料中，形成資料偏差
• 導致資料與結果不具代表性
• 難以偵測與處理
• 因應技巧：
  • 健全的資料蒐集流程
  • 在結論中保持警覺
  • 可解釋的 AI 模型

資料清理

• 一組用來解決資料問題的技巧
• 任何資料分析的重要前置步驟
• 但並非所有資料問題都能完全解決
• 總能做某種程度的分析

一起來練習吧！

資料素養入門