降低資料蒐集中的偏誤

制伏資料偏誤

Konstantinos Kattidis

Data Analytics Lead

辨識資料蒐集中的偏誤

• 選擇偏誤、歷史偏誤與測量偏誤
• 理解這些偏誤能建立覺察，讓資料專家主動辨識並採取行動

• 敏感度分析用來探索不同假設、子群或加權策略對結果的影響
• 外部驗證將資料與獨立來源比對，以檢查一致性與正確性

隨機與分層抽樣

• 選對抽樣技術很重要
• 隨機抽樣是從母體中隨機選取個體或資料點
• 分層抽樣先將母體分成子群，再自各子群抽樣

平衡子群代表性

• 過抽樣刻意提高某些群體或類別在資料集中的代表性，以平衡分佈
• 欠抽樣降低過度代表群體的比例，以取得更平衡的資料集
• 加權依觀測的重要性賦予不同權重，彌補樣本分佈的不平衡

資料增強（Data augmentation）

• 為解決歷史偏誤，這個技巧會用更多資料點擴充資料集
• 目標是涵蓋先前代表性不足的時期或事件
• 包含：
  • 補齊資料缺口
  • 多元化觀點
  • 更新並修正錯誤

資料量測作法

• 量測工具與流程的標準化
• 資料蒐集人員的訓練與校準
• 先行測試可用來評估蒐集程序的正確性與一致性
• 定期品保檢查與流程自動化可進一步提升品質

持續監控與調整

• 持續監控與調整對於因應新出現的偏誤至關重要
• 定期檢視資料品質指標
• 偏誤評估
• 以上可立即發現偏誤

一起來練習吧！

制伏資料偏誤