負責任 AI 指標

負責任的 AI 資料管理

Maria Prokofieva

Lead ML Engineer

AI 專案生命週期

lifecycle

負責任的 AI 資料管理

負責任的 AI 專案

  • 符合法規
  • 公平且多元
  • 作法透明、可負責且安全

 

模型公平性:

  • 公平、無偏、讓每個人都能獲得相當結果

 

lifecycle

負責任的 AI 資料管理

受保護特徵

  • 可能被不公平對待並面臨歧視的族群
  • 由受保護特徵定義:
    • 種族
    • 族裔
    • 性別
    • 社經背景

A group of people

負責任的 AI 資料管理

資料蒐集

  • 結果均等
  • 人口差異
  • 法律與規範

People looking through documents

負責任的 AI 資料管理

臉部辨識中的 AI

  • 高準確率

但是

  • 無法涵蓋特定族裔或性別

為什麼…

因為缺乏:

  • 資料可得性
  • 多樣性
  • 代表性

 

faces

負責任的 AI 資料管理

結果均等與人口差異

結果均等:不同族群受益相同

條件式人口差異:族群間的差異

  • 用描述統計與分佈評估資料多樣性
  • 矯正作法:加權與平衡
  • 建模後再檢視
  • 追蹤測試

Equity

負責任的 AI 資料管理

建模

  • 表現均等

例如,醫療診斷:

  • 某些狀況在受保護族群更常見

 

  • 評估偽陰性、偽陽性與準確率
  • 可解釋性:
    • Local Interpretable Model-agnostic Explanation(LIME)
    • Shapley Additive Explanation(SHAP)

 

Bullseye with missed shots on target

負責任的 AI 資料管理

部署與監控

  • 模型漂移:
    • 模型表現隨時間變動

 

  • 監測分佈
  • 技術性效能指標
  • 調整模型
  • 持續追蹤!
負責任的 AI 資料管理

套用指標

  • 了解受保護特徵
  • 還有更多指標可用!
  • 務必諮詢合適的法律與領域專家
  • 進行隱私與安全檢查

Responsible data dimensions

負責任的 AI 資料管理

一起來練習吧!

負責任的 AI 資料管理

Preparing Video For Download...