責任あるAIの指標

責任あるAIデータマネジメント

Maria Prokofieva

Lead ML Engineer

AIプロジェクトのライフサイクル

ライフサイクル

責任あるAIデータマネジメント

責任あるAIプロジェクト

  • 法令順守
  • 公平で多様性がある
  • 透明性・説明責任・安全性のある実践

 

モデルの公平性:

  • 公平・無偏りで、全員に公正な結果

 

ライフサイクル

責任あるAIデータマネジメント

保護特性

  • 不公平な扱いや差別を受けやすいグループ
  • 保護特性で定義:
    • 人種
    • 民族性
    • 性別
    • 社会経済的背景

人々の集団

責任あるAIデータマネジメント

データ取得

  • 結果の平等
  • 人口統計格差
  • 法律・規制

書類を見る人々

責任あるAIデータマネジメント

顔認識におけるAI

  • 高い精度

しかし

  • 特定の民族性や性別を捉えられない

理由…

不足:

  • データの入手性
  • 多様性
  • 代表性

 

顔の写真

責任あるAIデータマネジメント

結果の平等と人口統計格差

結果の平等: 便益が全グループで等しい

条件付き人口統計格差: グループ間の差

  • 記述統計と分布でデータの多様性を評価
  • 是正策: 重み付け・バランス調整
  • モデリング後に再確認
  • テストを記録

公平性

責任あるAIデータマネジメント

モデリング

  • 性能の平等

例: 医療診断

  • 保護対象グループで多い疾患もある

 

  • 偽陰性・偽陽性・精度を評価
  • 説明可能性:
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

的を外した標的の矢

責任あるAIデータマネジメント

デプロイと監視

  • モデルドリフト:
    • 時間とともに性能が変化

 

  • 分布を監視
  • 技術的な性能指標
  • モデルを調整
  • 記録を残す
責任あるAIデータマネジメント

指標の適用

  • 保護特性を理解する
  • さらに多くの指標が存在
  • 必ず法務・ドメインの専門家に相談
  • プライバシーとセキュリティを確認

責任あるデータの側面

責任あるAIデータマネジメント

Let's practice!

責任あるAIデータマネジメント

Preparing Video For Download...