Intégration des données

Gestion responsable des données pour l’IA

Maria Prokofieva

Lead ML engineer

Ce que nous allons couvrir

• Pourquoi l’intégration est nécessaire
• Ses bénéfices et ses complications
• Les étapes d’intégration des données

Pourquoi plusieurs sources ?

• Vue détaillée et globale
• Filet de sécurité
• Diversité et équité des données
• Explicabilité, transparence et responsabilité

Attention aux écueils

• Compromettre la qualité
• Introduire des incohérences
• Amplifier les biais
• Réduire la représentation
• Complexifier le modèle
• Transparence et explicabilité réduites

¹ Image par Streamline HQ

Étape 1. Sélection des sources

• Suivre les étapes d’évaluation
• Évaluer les sources
• Jeu de données plus équilibré et complet

Étape 2. Aligner les types de données

• Identifier les variables communes
• Standardiser noms et formats
• Normaliser les données numériques
• Consolider les données catégorielles
• Aligner la granularité des données

Étape 3. Atténuer les biais et améliorer la représentation

• Pondération
  • Connaissance métier
  • Attribuer des poids aux groupes sous/surreprésentés
• Équilibrage
  • Représentation égale
  • Sur- ou sous-échantillonnage
• Contrôles algorithmiques
• Analyse des écarts

Étape 4. Documenter

• Dossiers détaillés :
  • Étapes d’intégration
  • Décisions prises
• Métadonnées détaillées :
  • Sources de données
  • Méthodologie de collecte
  • Transformations appliquées

Projet de flux de trafic urbain

• Sélectionner les sources
• Identifier les variables communes
• Définir un modèle de données unifié

¹ Images par Streamline HQ

Projet de flux de trafic urbain

• Techniques statistiques pour biais et représentation
• Appliquer des ajustements de pondération
• Analyse des écarts et repondération
• Documenter

Passons à la pratique !

Gestion responsable des données pour l’IA