Bonnes pratiques de validation des données

Gestion responsable des données en AI

Maria Prokofieva

Lead ML engineer

Ce que nous allons couvrir

• Analyse par sous-groupes
• Valeurs manquantes
• Retrait des valeurs aberrantes
• Correction des incohérences de données
• Mise à l'échelle des variables
• Encodage des variables
• Réduction de la dimension

Analyse par sous-groupes

Données manquantes

• Fréquent dans les grands ensembles de données
• Suppression de données
• Stratégies d'imputation et approches basées sur des modèles
• Analyse par sous-groupes pour la validation

Retrait des valeurs aberrantes

• Méthodes statistiques comme z-scores et IQR, ou mise à l'échelle robuste
• Valider l'équité entre segments de données

Incohérences de données

• La qualité des données influe sur l'intégrité et la fiabilité du modèle
• Normalisation des données et règles de validation
• Normalisation par sous-groupes

Mise à l'échelle des variables

• Mettre à l'échelle pour transformer les variables d'entrée
• Valider en comparant les distributions entre groupes

Encodage des variables

• Évaluer l'effet de l'encodage sur les résultats
• Vérifier les biais et les pertes d'information
• Vérifier le surapprentissage
• Utiliser la régularisation et la réduction de la dimension

Réduction de la dimension

• Réduire les variables d'entrée et préserver l'information essentielle
• Peut introduire des biais
• Utiliser des techniques sensibles à l'équité comme t-SNE

Conseiller financier

• Variables « Annual income » et « Investment frequency »
• Ajuster les valeurs aberrantes et mettre à l'échelle
• Analyse par sous-groupes

Let's practice!

Gestion responsable des données en AI