Validation des données

Gestion responsable des données pour l’IA

Maria Prokofieva

Lead ML engineer

Ce que nous allons couvrir

  • Validation des données
  • Dimensions responsables
  • Conseiller financier IA

validation

Gestion responsable des données pour l’IA

Validation des données

  • Approche plus granulaire
  • Vérifier l’intégrité technique des données
  • Vérifier l’équité

validation des données

Gestion responsable des données pour l’IA

Intégrité technique

  • Données complètes
  • Pas de doublons, d’erreurs ou de données obsolètes
  • Conformité légale
  • Contrôles d’exactitude, cohérence, complétude et fraîcheur

Dimensions des données responsables

Gestion responsable des données pour l’IA

Conseiller financier : intégrité technique

  • Écarts et anomalies dans les données
  • Champs mal attribués
  • Détecter et corriger tôt

exemple de catégories incorrectes

Gestion responsable des données pour l’IA

Conseiller financier : intégrité technique

  • Anomalies dans les périodes et méthodes de collecte
  • Disparités économiques régionales
  • Non optimisé pour tous les groupes d’utilisateurs

anomalies dans les méthodes de collecte de données

Gestion responsable des données pour l’IA

Évaluation de l’équité

  • Égalité des chances
  • Impact disparate
  • Parité démographique
  • Appliqué à toutes les étapes du projet

 

Conseiller financier :

  • Tous reçoivent des conseils pertinents et utiles
  • Recommandations uniformes pour tous les groupes démographiques
  • Aucun groupe n’est affecté de manière disproportionnée
Gestion responsable des données pour l’IA

Approches de validation des données

  • Identifier les variables clés
  • Analyser la distribution des données
  • Nettoyer les données et appliquer des tests statistiques
  • Équilibrer les données
  • Vérifier les métriques d’équité
  • Tester les modèles sur des jeux de données variés
Gestion responsable des données pour l’IA

Conseiller financier

logo conseiller

  • Supprimer les valeurs aberrantes et imputer les manquants
  • Valider avec des statistiques descriptives avant/après
  • Suréchantillonner le groupe à faible revenu
  • Vérifier performances du modèle et métriques d’équité
  • Validation croisée avec stratification
  • Tester sur des données « non vues »
Gestion responsable des données pour l’IA

Passons à la pratique !

Gestion responsable des données pour l’IA

Preparing Video For Download...