Bonnes pratiques de validation des données

Gestion responsable des données pour l’IA

Maria Prokofieva

Lead ML engineer

Ce que nous couvrirons

• Analyse par sous-groupe
• Valeurs manquantes
• Suppression des valeurs aberrantes
• Correction des incohérences
• Mise à l’échelle des variables
• Encodage des variables
• Réduction de dimension

Analyse par sous-groupe

Données manquantes

• Fréquent sur les grands jeux de données
• Suppression de données
• Imputation et approches basées sur modèles
• Validation par analyse de sous-groupes

Suppression des valeurs aberrantes

• Méthodes statistiques (z-scores, IQR) ou mise à l’échelle robuste
• Valider l’équité entre segments de données

Incohérences de données

• La qualité des données affecte l’intégrité et la fiabilité du modèle
• Normalisation des données et règles de validation
• Normalisation par sous-groupe

Mise à l’échelle des variables

• Mise à l’échelle des variables d’entrée
• Valider en comparant les distributions entre groupes

Encodage des variables

• Évaluer l’effet de l’encodage sur les résultats
• Vérifier les biais et pertes d’information
• Détecter le surapprentissage
• Utiliser régularisation et réduction de dimension

Réduction de dimension

• Réduire les variables d’entrée en préservant l’essentiel
• Peut introduire des biais
• Utiliser des techniques attentives à l’équité comme t-SNE

Conseiller financier

• Variables « Revenu annuel » et « Fréquence d’investissement »
• Ajuster les valeurs aberrantes et mettre à l’échelle
• Analyse par sous-groupe

Passons à la pratique !

Gestion responsable des données pour l’IA