拆解資料兩難

制伏資料偏誤

Konstantinos Kattidis

Data Analytics Lead

資料驅動決策

  • 資料驅動決策 正在改變全球各產業

  • 資料與 AI 的應用也擴及關鍵領域：

    • 社會正義
    • 招募篩選
    • 互動介面（如虛擬助理）

資料驅動決策的應用案例

制伏資料偏誤

資料偏誤的浮現

隨著進展，同時也出現了這些解決方案中存在偏誤的疑慮。

履歷篩選

  • Amazon 關閉了其評分合適求職者的模型，因為它偏好男性求職者
制伏資料偏誤

何謂資料偏誤？

  • 當資料或資訊有限時會產生，使整體樣貌不準確或不公平。

  • 可能來自多種因素：

    • 失衡與代表性不足
    • 歷史偏見
    • 認知傾向

  • 它會削弱資料的準確性與可靠性，降低其在決策中的效用。

資料偏誤的成因

制伏資料偏誤

Amazon 案例

  • Amazon 的模型以 10 年間提交的履歷進行訓練。
  • 在此期間，男性求職者在錄用流程中被不成比例地錄用或偏好。
  • 因歷史用人模式，模型對男性產生偏誤。
  • 要處理資料偏誤，需同時檢視資料集品質與相關的人為流程。

Amazon 箱與履歷篩選

制伏資料偏誤

課程介紹

對抗偏誤

第 1 章－了解資料偏誤對決策的影響，以及為何在處理資料時必須納入考量。

第 2 章－認識蒐集資料時的各種偏誤，並學會如何實施技術以將其降到最低。

第 3 章－了解分析與分享結果時常見的偏誤。也會探討如何辨識與緩解偏誤。

制伏資料偏誤

一起來練習吧！

制伏資料偏誤

Preparing Video For Download...