データソース

責任あるAIデータマネジメント

Maria Prokofieva

Lead ML engineer

この後の内容

• データソースの種類
• 制約と選定
• 複数ソースの統合

データソースが重要な理由

• 完全性
• 多様性
• 公平な表現

¹ Image by Streamline HQ

起源による種類

• 一次

  • プロジェクト内で収集したデータ
  • コンプライアンスと同意

• 二次

  • 既存リソースから取得したデータ
  • ライセンス契約

性質別の種類

• 量的

  • 数値データ

• 質的

  • 非数値

• 混合

  • 数値と非数値の組み合わせ

¹ Image by Streamline HQ

時間性による種類

• 静的
  • 時間で変化しない
  • センサスデータ
  • 企業住所
• 動的
  • リアルタイム更新
  • ソーシャルメディアのストリーム
  • API
  • 金融市場フィード
  • センサーデータ

¹ Image by Streamline HQ

データソースの多様性と公平性

• 収集者の直接的バイアス
• 測定可能なバイアス確認
• 現状を正確に反映しない、陳腐化したバイアス

• 元の文脈からの継承バイアス
• 精緻な分析
• 継続的に変化し、リアルタイムのバイアスを生む可能性

都市交通フロープロジェクト

データソース:

• 交通の履歴データ
• 市議会の議事録
• GPS 追跡データ

¹ Images by Streamline HQ

交通の履歴データ

• 市交通局
• 過去5年
• 車両数と時間帯/曜日を含む

これは一次・静的・量的ソースです

¹ Image by Streamline HQ

市議会の議事録

• 議会サイトで公開の公的記録
• 都市計画・交通管理の要約

これは質的な二次ソースです

¹ Image by Streamline HQ

GPS データ

• 一次・動的ソース
• 現在の交通状況、速度、遅延を即時に把握

¹ Image by Streamline HQ

Laten we oefenen!

責任あるAIデータマネジメント