Verantwoorde AI-metrics

Verantwoord AI-gegevensbeheer

Maria Prokofieva

Lead ML Engineer

Levenscyclus van AI-project

levenscyclus

Verantwoord AI-project

Wettelijk compliant
Eerlijk en divers
Praktijken zijn transparant, verantwoordelijk en veilig

Model fairness:

Eerlijk, onbevooroordeeld en gelijke uitkomsten voor iedereen

levenscyclus

Beschermde kenmerken

Groepen die waarschijnlijk oneerlijk behandeld worden en discriminatie ervaren
Gedefinieerd door beschermde kenmerken:
- Ras
- Etniciteit
- Gender
- Sociaaleconomische achtergrond

Een groep mensen

Data-acquisitie

Gelijke uitkomsten
Demografische afwijking
Wetten en regels

Mensen die documenten doornemen

AI bij gezichtsherkenning

Hoge nauwkeurigheid

MAAR

Mist specifieke etniciteiten of genders

WAAROM...

Gebrek aan:

Databeschikbaarheid
Diversiteit
Representatie

gezichten

Gelijke uitkomsten en demografische afwijking

Gelijke uitkomsten: voordelen gelijk over groepen

Voorwaardelijke demografische afwijking: verschillen tussen groepen

Gebruik beschrijvende statistiek en verdelingen om diversiteit te beoordelen
Corrigerende maatregelen: wegen en balanceren
Herbeoordeel na modelleren
Houd tests bij

Gelijkheid

Modelleren

Gelijke performance

Bijv. medische diagnoses:

Sommige komen vaker voor bij beschermde groepen

Evalueer false negatives, false positives en accuracy
Uitlegbaarheid:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Schietschijf met missers op doel

Deployment en monitoring

Modeldrift:
- Veranderingen in modelprestaties in de tijd

Monitor verdelingen
Technische performancemetrics
Stel model bij
Houd alles bij!

Metrics toepassen

Begrijp de beschermde kenmerken
Er zijn veel meer metrics!
Raadpleeg altijd de juiste juridische en domeinexperts
Voer privacy- en security-checks uit

Dimensies van verantwoorde data

Laten we oefenen!

Verantwoord AI-gegevensbeheer

Preparing Video For Download...