Ansvarsfulla AI-mätvärden

Ansvarsfull AI-datahantering

Maria Prokofieva

Lead ML Engineer

AI-projektets livscykel

livscykel

Ansvarsfull AI-datahantering

Ansvarsfullt AI-projekt

  • Juridiskt regelrätt
  • Rättvist och inkluderande
  • Transparent, ansvarsfullt och säkert

 

Modellrättvisa:

  • Rättvis, opartisk och med likvärdiga utfall för alla

 

livscykel

Ansvarsfull AI-datahantering

Skyddade egenskaper

  • Grupper som riskerar orättvis behandling och diskriminering
  • Definieras av skyddade egenskaper:
    • Ras
    • Etnicitet
    • Kön
    • Socioekonomisk bakgrund

En grupp människor

Ansvarsfull AI-datahantering

Datainsamling

  • Likvärdiga utfall
  • Demografisk ojämlikhet
  • Lagar och regelverk

Personer som granskar dokument

Ansvarsfull AI-datahantering

AI inom ansiktsigenkänning

  • Hög noggrannhet

MEN

  • Misslyckas att fånga specifika etniciteter eller kön

VARFÖR...

Brist på:

  • Datatillgänglighet
  • Mångfald
  • Representation

 

ansikten

Ansvarsfull AI-datahantering

Likvärdiga utfall och demografisk ojämlikhet

Likvärdiga utfall: fördelarna är lika för alla grupper

Villkorlig demografisk ojämlikhet: skillnader mellan grupper

  • Använd deskriptiv statistik och fördelningar för att bedöma datadiversitet
  • Korrigerande åtgärder: viktning och balansering
  • Revidera efter modellering
  • Dokumentera testerna

Likvärdighet

Ansvarsfull AI-datahantering

Modellering

  • Likvärdig prestanda

Till exempel medicinska diagnoser:

  • Vissa vanligare i skyddade grupper

 

  • Utvärdera falska negativa, falska positiva och noggrannhet
  • Förklarbarhet:
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

Tavla med missade skott

Ansvarsfull AI-datahantering

Driftsättning och övervakning

  • Modellglidning:
    • Förändringar i modellens prestanda över tid

 

  • Övervaka fördelningar
  • Tekniska prestandamätvärden
  • Justera modellen
  • Håll koll!
Ansvarsfull AI-datahantering

Tillämpa mätvärden

  • Förstå de skyddade egenskaperna
  • Det finns många fler mätvärden!
  • Rådfråga alltid relevanta juridiska och domänspecifika experter
  • Genomför integritets- och säkerhetskontroller

Ansvarsfulla datadimensioner

Ansvarsfull AI-datahantering

Nu kör vi en övning!

Ansvarsfull AI-datahantering

Preparing Video For Download...