Responsible AI metrics

Verantwortungsvolle KI-Datenverwaltung

Maria Prokofieva

Lead ML Engineer

KI-Projektlebenszyklus

Lebenszyklus

Verantwortungsvolles KI-Projekt

Rechtlich konform
Fair und divers
Praktiken sind transparent, rechenschaftspflichtig und sicher

Modellfairness:

Fair, unverzerrt und mit gerechten Ergebnissen für alle

Lebenszyklus

Geschützte Merkmale

Gruppen mit Risiko unfairer Behandlung und Diskriminierung
Definiert durch geschützte Merkmale:
- Rasse
- Ethnie
- Geschlecht
- Sozioökonomischer Hintergrund

Eine Gruppe von Menschen

Datenakquise

Gleiche Ergebnisse
Demografische Disparität
Gesetze und Vorschriften

Menschen, die Dokumente prüfen

KI in Gesichtserkennung

Hohe Genauigkeit

ABER

Erfasst bestimmte Ethnien oder Geschlechter nicht

WARUM …

Mangel an:

Datenverfügbarkeit
Diversität
Repräsentation

Gesichter

Gleiche Ergebnisse und demografische Disparität

Gleiche Ergebnisse: Nutzen ist über Gruppen hinweg gleich

Bedingte demografische Disparität: Unterschiede zwischen Gruppen

Deskriptive Statistiken und Verteilungen zur Prüfung der Diversität
Korrekturen: Gewichtung und Balancierung
Nach dem Modellieren erneut prüfen
Tests dokumentieren

Gerechtigkeit

Modellierung

Gleiche Performance

Beispiel medizinische Diagnosen:

Manche häufiger in geschützten Gruppen

Falschnegative, Falschpositive und Genauigkeit bewerten
Erklärbarkeit:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Zielscheibe mit Fehltreffern

Deployment und Monitoring

Modelldrift:
- Änderungen der Modellleistung über die Zeit

Verteilungen überwachen
Technische Leistungsmetriken
Modell anpassen
Nachverfolgen!

Metriken anwenden

Geschützte Merkmale verstehen
Es gibt viele weitere Metriken!
Immer passende Rechts- und Fachexperten konsultieren
Datenschutz- und Sicherheitschecks durchführen

Dimensionen verantwortungsvoller Daten

Lass uns üben!

Verantwortungsvolle KI-Datenverwaltung

Preparing Video For Download...