Metrici AI responsabil

Gestionarea responsabilă a datelor în AI

Maria Prokofieva

Lead ML Engineer

Ciclul de viață al unui proiect AI

ciclu de viață

Gestionarea responsabilă a datelor în AI

Proiect AI responsabil

  • Conform legii
  • Echitabil și divers
  • Practici transparente, responsabile și sigure

 

Corectitudinea modelului:

  • Corect, imparțial și cu rezultate echitabile pentru toți

 

ciclu de viață

Gestionarea responsabilă a datelor în AI

Caracteristici protejate

  • Grupuri susceptibile de tratament inechitabil și discriminare
  • Definite prin caracteristici protejate:
    • Rasă
    • Etnie
    • Gen
    • Context socioeconomic

Un grup de persoane

Gestionarea responsabilă a datelor în AI

Achiziția datelor

  • Rezultate egale
  • Disparitate demografică
  • Legi și reglementări

Persoane care consultă documente

Gestionarea responsabilă a datelor în AI

AI în recunoașterea facială

  • Acuratețe ridicată

DAR

  • Eșuează pentru anumite etnii sau genuri

DE CE...

Lipsă de:

  • Date disponibile
  • Diversitate
  • Reprezentare

 

fețe

Gestionarea responsabilă a datelor în AI

Rezultate egale și disparitate demografică

Rezultate egale: beneficii egale între grupuri

Disparitate demografică condițională: diferențe între grupuri

  • Utilizați statistici descriptive și distribuții pentru a evalua diversitatea datelor
  • Măsuri corective: ponderare și echilibrare
  • Revizuiți după modelare
  • Înregistrați testele

Echitate

Gestionarea responsabilă a datelor în AI

Modelare

  • Performanță egală

De exemplu, diagnostice medicale:

  • Unele mai frecvente în grupurile protejate

 

  • Evaluați fals negativii, fals pozitivii și acuratețea
  • Explicabilitate:
    • Explicație locală interpretabilă independent de model (LIME)
    • Explicație aditivă Shapley (SHAP)

 

Țintă cu lovituri ratate

Gestionarea responsabilă a datelor în AI

Implementare și monitorizare

  • Deriva modelului:
    • Modificări ale performanței modelului în timp

 

  • Monitorizați distribuțiile
  • Metrici tehnice de performanță
  • Ajustați modelul
  • Înregistrați totul!
Gestionarea responsabilă a datelor în AI

Aplicarea metricilor

  • Înțelegeți caracteristicile protejate
  • Există multe alte metrici!
  • Consultați întotdeauna experți juridici și de domeniu
  • Efectuați verificări de confidențialitate și securitate

Dimensiuni ale datelor responsabile

Gestionarea responsabilă a datelor în AI

Să exersăm!

Gestionarea responsabilă a datelor în AI

Preparing Video For Download...