資料庫與品質檢查

解密 Decision Science

Howard Friedman

Adjunct Professor at Columbia University

資料來源分流

資料的實用性不一

  • 有些資料集需要大量清理，或缺少有意義的特徵
  • 也有些完全不值得投入心力

 

資料分流可快速排定優先順序

  • 先評估資料集是否可行，再投入時間與資源

先看可取得性

  • 資料是否容易存取，還是被付費牆擋住
  • 是否有權限或安全性的限制
  • 及早釐清可避免白費工夫

分流流程示意圖

解密 Decision Science

關鍵檢查項

考量成本

  • 是否有授權或存取費用
  • 是否需要付儲存費或專用工具費

評估實用性

  • 這個資料集是否包含你分析所需內容
  • 檢查範圍、細節、完整性與特徵相關性

檢查更新頻率

  • 即時預測需要即時或定期更新的資料
  • 更新週期不匹配會讓資料無法使用

評估地理解析度

  • 資料的空間層級是否符合分析需求
  • 若需要郵遞區號等細粒度，全國層級資料就派不上用場
解密 Decision Science

資料品質檢查

資料品質很重要

  • 不良資料會毀了模型，導致錯誤決策
  • 「垃圾進，垃圾出」在決策科學中是真實風險

GIGO 示意圖

留意遺漏值

  • 各欄位的遺漏比例
  • 是否出現暗示蒐集問題的遺漏樣式

做基本範圍檢查

  • 是否有不符合情境的數值
  • 例如：age = 450 或 price = -$10
  • 用檢查提早標記重大問題
解密 Decision Science

更多檢查

檢視離群值

  • 用直方圖或盒鬚圖視覺化
  • 在排除之前先與利害關係人討論

評估即時性

  • 你的資料是否夠新，仍具相關性
  • 變動快速的情境需要更頻繁更新

確保格式一致

  • 留意日期格式不一、拼字問題或欄位命名不一致
  • 清理並標準化，避免分析時出問題

QA 圖示

解密 Decision Science

一起來練習吧！

解密 Decision Science

Preparing Video For Download...