Mesures d'IA responsable

Gestion responsable des données en AI

Maria Prokofieva

Lead ML Engineer

Cycle de vie d'un projet d'IA

cycle de vie

Gestion responsable des données en AI

Projet d'IA responsable

  • Conforme aux lois
  • Équitable et diversifié
  • Pratiques transparentes, imputables et sécuritaires

 

Équité du modèle :

  • Équitable, sans biais, résultats justes pour toutes et tous

 

cycle de vie

Gestion responsable des données en AI

Caractéristiques protégées

  • Groupes à risque d'être traités injustement et discriminés
  • Définis par des caractéristiques protégées :
    • Race
    • Ethnicité
    • Genre
    • Milieu socioéconomique

Un groupe de personnes

Gestion responsable des données en AI

Acquisition des données

  • Résultats égaux
  • Écart démographique
  • Lois et règlements

Personnes examinant des documents

Gestion responsable des données en AI

IA et reconnaissance faciale

  • Grande exactitude

MAIS

  • N'arrivent pas à saisir certaines ethnicités ou certains genres

POURQUOI…

Manque de :

  • Données disponibles
  • Diversité
  • Représentation

 

visages

Gestion responsable des données en AI

Résultats égaux et écart démographique

Résultats égaux : les bénéfices sont égaux entre groupes

Écart démographique conditionnel : différences entre groupes

  • Utiliser des statistiques descriptives et des distributions pour évaluer la diversité des données
  • Mesures correctives : pondération et équilibrage
  • Revoir après la modélisation
  • Consigner les tests

Équité

Gestion responsable des données en AI

Modélisation

  • Performance égale

Par exemple, diagnostics médicaux :

  • Certains plus fréquents dans des groupes protégés

 

  • Évaluer faux négatifs, faux positifs et exactitude
  • Explicabilité :
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

Cible avec des tirs manqués

Gestion responsable des données en AI

Déploiement et surveillance

  • Dérive du modèle :
    • Changement des performances du modèle dans le temps

 

  • Surveiller les distributions
  • Mesures de performance techniques
  • Ajuster le modèle
  • Tenir des traces !
Gestion responsable des données en AI

Application des mesures

  • Comprendre les caractéristiques protégées
  • Bien d'autres mesures existent !
  • Toujours consulter les personnes expertes juridiques et du domaine
  • Effectuer des vérifications de confidentialité et de sécurité

Dimensions des données responsables

Gestion responsable des données en AI

Passons à la pratique !

Gestion responsable des données en AI

Preparing Video For Download...