Validation des données

Gestion responsable des données en AI

Maria Prokofieva

Lead ML engineer

Ce que nous allons couvrir

Validation des données
Dimensions responsables
Conseiller financier IA

validation

Validation des données

Approche plus granulaire
Vérifier l'intégrité technique des données
Vérifier l'équité

validation des données

Intégrité technique

Données complètes
Aucune doublure, erreur ni donnée périmée
Conformes aux lois
Vérifications d'exactitude, de cohérence, d'exhaustivité et d'actualité

Dimensions de données responsables

Conseiller financier : intégrité technique

Écarts et anomalies dans les données
Champs mal attribués
Repérer et corriger tôt

exemple de catégories incorrectes

Conseiller financier : intégrité technique

Anomalies dans les périodes et méthodes de collecte
Disparités économiques régionales
Non optimisé pour tous les groupes d'utilisateurs

anomalies des méthodes de collecte de données

Évaluation de l'équité

Égalité des chances
Impact disparate
Parité démographique
À toutes les étapes du projet

Conseiller financier :

Toutes les personnes reçoivent des conseils pertinents et utiles
Recommandations uniformes pour tous les groupes démographiques
Aucun groupe n'est touché de façon disproportionnée

Approches de validation des données

Repérer les variables clés
Analyser la distribution des données
Nettoyer les données et appliquer des tests statistiques
Équilibrer les données
Vérifier les mesures d'équité
Tester les modèles avec des ensembles de données variés

Conseiller financier

logo du conseiller

Retirer les valeurs aberrantes et imputer les valeurs manquantes
Valider avec des statistiques descriptives avant et après
Suréchantillonner le groupe à faible revenu
Vérifier la performance du modèle et les mesures d'équité
Validation croisée avec stratification
Tester sur des données « non vues »

Passons à la pratique !

Gestion responsable des données en AI

Preparing Video For Download...