データ検証

責任あるAIデータマネジメント

Maria Prokofieva

Lead ML engineer

学習内容

• データ検証
• 責任ある指標
• AIファイナンシャルアドバイザー

データ検証

• より細かなアプローチ
• データの技術的完全性を確認
• 公平性を確認

技術的完全性

• データが完全
• 重複・誤り・古いデータなし
• 法令順守
• 正確性・一貫性・完全性・適時性をチェック

ファイナンシャルアドバイザー：技術的完全性

• データ内の不一致・異常
• 誤ったフィールド割当て
• 早期に発見・修正

ファイナンシャルアドバイザー：技術的完全性

• 収集期間・方法の異常
• 地域間の経済格差
• すべてのユーザー層に最適化されていない

公平性の評価

• 機会均等
• 反対差別（統計的不利益）
• 人口統計の均衡
• 全工程に適用

 

ファイナンシャルアドバイザー：

• すべての人に有益で関連する助言を提供
• すべての属性で一貫した推奨
• いずれの集団も過度に不利益を受けない

データ検証のアプローチ

• 主要変数の特定
• データ分布の分析
• クリーニングと統計検定
• データのバランス調整
• 公平性指標の確認
• 多様なデータでモデル検証

ファイナンシャルアドバイザー

• 外れ値の除去と欠損の補完
• 前後で記述統計により検証
• 低所得層をオーバーサンプリング
• モデル性能と公平性指標を確認
• 層化クロスバリデーション
• 「未見」データでテスト

Passons à la pratique !

責任あるAIデータマネジメント