Metriky odpovědné AI

Zodpovědná správa dat v AI

Maria Prokofieva

Lead ML Engineer

Životní cyklus projektu AI

životní cyklus

Zodpovědná správa dat v AI

Odpovědný projekt AI

  • Právně v souladu
  • Spravedlivé a různorodé
  • Praktiky jsou transparentní, odpovědné a bezpečné

 

Férový model:

  • Spravedlivý, nezaujatý a s rovnými výsledky pro všechny

 

životní cyklus

Zodpovědná správa dat v AI

Chráněné charakteristiky

  • Skupiny, které mohou být nespravedlivě behandovány nebo diskriminovány
  • Definovány chráněnými charakteristikami:
    • Rasa
    • Etnický původ
    • Pohlaví
    • Socioekonomické zázemí

Skupina lidí

Zodpovědná správa dat v AI

Získávání dat

  • Rovné výsledky
  • Demografická disparita
  • Zákony a předpisy

Lidé procházející dokumenty

Zodpovědná správa dat v AI

AI v rozpoznávání obličejů

  • Vysoká přesnost

ALE

  • Selhání u konkrétních etnik nebo pohlaví

PROČ...

Chybí:

  • Dostupnost dat
  • Diverzita
  • Reprezentativnost

 

Tváře

Zodpovědná správa dat v AI

Rovné výsledky a demografická disparita

Rovné výsledky: přínosy jsou stejné napříč skupinami

Demografická disparita: rozdíly mezi skupinami

  • Hodnoťte diverzitu dat pomocí popisné statistiky a distribucí
  • Nápravná opatření: vážení a vyvažování
  • Přehodnoťte po modelování
  • Sledujte průběh testů

Spravedlnost

Zodpovědná správa dat v AI

Modelování

  • Rovný výkon

Například lékařské diagnózy:

  • Některé jsou častější u chráněných skupin

 

  • Vyhodnoťte falešně negativní, falešně pozitivní výsledky a přesnost
  • Vysvětlitelnost:
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

Terč s minami střelami

Zodpovědná správa dat v AI

Nasazení a monitorování

  • Drift modelu:
    • Změny výkonu modelu v čase

 

  • Sledujte distribuce
  • Technické metriky výkonu
  • Upravte model
  • Veďte záznamy!
Zodpovědná správa dat v AI

Aplikace metrik

  • Pochopte chráněné charakteristiky
  • Existuje mnoho dalších metrik!
  • Vždy konzultujte s příslušnými právními a doménovými odborníky
  • Provádějte kontroly ochrany soukromí a bezpečnosti

Dimenze odpovědných dat

Zodpovědná správa dat v AI

Pojďme si procvičit!

Zodpovědná správa dat v AI

Preparing Video For Download...