データソースの選定

責任あるAIデータマネジメント

Maria Prokofieva

Lead ML engineer

なぜ選定するのか

• データ品質の確保
• 法令順守
• 公平性

 

手順1. プロジェクト適合性

• プロジェクト目標への適合
• 次と整合しているか確認
  • 主題領域
  • 範囲
  • 期待される成果

手順2. データソースの信頼性

• 信頼性と健全性を評価
• レビューと推薦文
• 収集方法の透明性
• コンプライアンスとライセンス
• 高品質: 定期更新

手順3. 法令順守

• データの適法性
• プロジェクトの法令順守
• 法務への相談:
  • 適用法と制約
  • データの匿名化
  • セキュリティ要件
• 法務チームの承認

手順4. 技術的品質

• 構造の健全性と使いやすさ
• 完全性
• 一貫性
• 正確性
• 適時性

手順5. バイアスと代表性

• 人口統計の代表性の分析
• 保護される属性
• グループ分布の分析
• 公平性指標
• データ拡張

手順6. 選定

• 含める条件:
  • 一貫して整合する
  • 変換・拡張・アルゴリズムで補正可能
• 除外する条件:
  • 重要項目が不足
• ドメイン専門家に相談

都市交通流プロジェクト

データソース:

1. 交通量カウントデータ
2. 議会（評議会）議事録
3. GPS トラッキングデータ
4. 交通状況のSNS言及
5. 通勤者アンケートデータ

¹ Images by Streamline HQ

都市交通流プロジェクト

【除外】

• SNSデータ
• 通勤者アンケートデータ

【修正】

• 議事録
• 交通量データ
  • センサーからの追加データ
• GPS データ
  • カメラからの追加データ

Ayo berlatih!

責任あるAIデータマネジメント