データソースの制約

責任あるAIデータマネジメント

Maria Prokofieva

Lead ML Engineer

データソースと一般的な制約

• 法令順守
• バイアス
• 方法論
• ドメイン知識の役割

法的・アクセス面の制約

• 特定プロジェクトでの利用制限
• 追加のコンプライアンス対応
• 費用が高額

 

¹ Image by Streamline HQ

データソースのバイアス

• 系統的誤り
• 認識のゆがみ
• 不均衡な結果
• 特定集団への不利

バイアスの種類

• 歴史的バイアス:
  • 無関係なパターンや結果
• 選択バイアス:
  • どのデータ点を含めるかの選択
• サンプリングバイアス
  • サンプリング方法

¹ Image by Streamline HQ

バイアスと出自に基づく制約

• データ範囲の限定
• 文化・地域の制約
• 網羅性・包摂性の不足

   

バイアスと方法論に基づく制約

• 収集手法の選択
• サンプリング手法

ドメイン知識

• 制約や潜在的バイアス
• 早期にドメイン専門家と連携
• モデリング前に制約を緩和

都市交通流プロジェクト

データソース:

• 交通量カウントデータ
• 市議会議事録
• GPS 追跡データ

¹ Images by Streamline HQ

都市交通流プロジェクト

過去の交通量データ:

• 歴史的バイアス
• 過去の都市レイアウト

議事録データ:

• 選択バイアス
• 一部住民の過大代表

¹ Images by Streamline HQ

都市交通流プロジェクト

GPS 追跡データ:

• サンプリング・選択バイアス
• すべての通勤者を代表しない可能性

¹ Image by Streamline HQ

Let's practice!

責任あるAIデータマネジメント