Indicateurs d’IA responsable

Gestion responsable des données pour l’IA

Maria Prokofieva

Lead ML Engineer

Cycle de vie d’un projet IA

cycle de vie

Gestion responsable des données pour l’IA

Projet d’IA responsable

  • Conforme au droit
  • Équitable et diversifié
  • Pratiques transparentes, responsables et sécurisées

 

Équité du modèle :

  • Équitable, non biaisé, avec des résultats justes pour tous

 

cycle de vie

Gestion responsable des données pour l’IA

Caractéristiques protégées

  • Groupes susceptibles d’être traités injustement et discriminés
  • Définis par des caractéristiques protégées :
    • Race
    • Ethnicité
    • Genre
    • Milieu socio‑économique

Un groupe de personnes

Gestion responsable des données pour l’IA

Acquisition des données

  • Résultats égaux
  • Disparité démographique
  • Lois et réglementations

Personnes consultant des documents

Gestion responsable des données pour l’IA

IA et reconnaissance faciale

  • Précision élevée

MAIS

  • N’identifie pas certaines origines ou genres

POURQUOI…

Manque de :

  • Données disponibles
  • Diversité
  • Représentation

 

visages

Gestion responsable des données pour l’IA

Résultats égaux et disparité démographique

Résultats égaux : bénéfices équitables entre groupes

Disparité démographique conditionnelle : écarts entre groupes

  • Utiliser statistiques descriptives et distributions pour évaluer la diversité
  • Mesures correctives : pondération et équilibrage
  • Réévaluer après le modèle
  • Tracer les tests

Équité

Gestion responsable des données pour l’IA

Modélisation

  • Performance égale

Exemple : diagnostics médicaux

  • Certains plus fréquents dans des groupes protégés

 

  • Évaluer faux négatifs, faux positifs et précision
  • Explicabilité :
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

Cible avec tirs manqués

Gestion responsable des données pour l’IA

Déploiement et suivi

  • Dérive du modèle :
    • Évolution des performances dans le temps

 

  • Surveiller les distributions
  • Indicateurs techniques de performance
  • Ajuster le modèle
  • Tout consigner !
Gestion responsable des données pour l’IA

Application des métriques

  • Comprendre les caractéristiques protégées
  • D’autres métriques existent !
  • Toujours consulter des experts juridiques et métiers
  • Effectuer des contrôles de confidentialité et de sécurité

Dimensions des données responsables

Gestion responsable des données pour l’IA

Passons à la pratique !

Gestion responsable des données pour l’IA

Preparing Video For Download...