Datenvalidierung

Verantwortungsvolle KI-Datenverwaltung

Maria Prokofieva

Lead ML engineer

Was wir abdecken

Datenvalidierung
Verantwortliche Dimensionen
KI-Finanzberater

Validierung

Datenvalidierung

Granularerer Ansatz
Technische Integrität der Daten prüfen
Fairness prüfen

Datenvalidierung

Technische Integrität

Vollständige Daten
Keine Duplikate, Fehler oder veraltete Daten
Rechtlich konform
Prüft Genauigkeit, Konsistenz, Vollständigkeit, Aktualität

Verantwortliche Daten-Dimensionen

Finanzberater: technische Integrität

Abweichungen und Anomalien in Daten
Falsch zugewiesene Felder
Früh erkennen und korrigieren

Beispiel für falsche Kategorien

Finanzberater: technische Integrität

Anomalien in Erhebungszeiträumen und -methoden
Regionale wirtschaftliche Unterschiede
Nicht für alle Nutzergruppen optimiert

Anomalien in Datenerhebungsmethoden

Fairnessbewertung

Chancengleichheit
Ungleichmäßige Auswirkungen
Demografische Parität
In allen Projektphasen anwenden

Finanzberater:

Alle erhalten relevante, hilfreiche Beratung
Einheitliche Empfehlungen über alle Gruppen hinweg
Keine Gruppe wird übermäßig benachteiligt

Ansätze zur Datenvalidierung

Schlüsselfaktoren bestimmen
Datenverteilung analysieren
Daten bereinigen und statistisch testen
Daten balancieren
Fairnessmetriken prüfen
Modelle mit diversen Datensätzen testen

Finanzberater

Berater-Logo

Ausreißer entfernen, fehlende Werte imputieren
Mit deskriptiver Statistik vorher/nachher validieren
Geringverdiener oversamplen
Modellleistung und Fairnessmetriken prüfen
Kreuzvalidierung mit Stratifizierung
Auf „ungesehenen“ Daten testen

Lass uns üben!

Verantwortungsvolle KI-Datenverwaltung

Preparing Video For Download...