Best Practices zur Datenvalidierung

Verantwortungsvolle KI-Datenverwaltung

Maria Prokofieva

Lead ML engineer

Was wir behandeln

• Subgruppenanalyse
• Fehlende Werte
• Ausreißerentfernung
• Dateninkonsistenzen beheben
• Feature-Skalierung
• Feature-Kodierung
• Dimensionsreduktion

Subgruppenanalyse

Fehlende Daten

• Häufig in großen Datensätzen
• Datenlöschung
• Imputation und modellbasierte Ansätze
• Subgruppenanalyse zur Validierung

Ausreißerentfernung

• Statistische Methoden wie z-Scores und IQR oder robustes Skalieren
• Fairness über Datensegmente hinweg validieren

Dateninkonsistenzen

• Datenqualität beeinflusst Integrität und Zuverlässigkeit des Modells
• Datenstandardisierung und Validierungsregeln
• Normalisierung nach Subgruppen

Feature-Skalierung

• Features skalieren, um Eingaben zu transformieren
• Validieren: Verteilungen zwischen Gruppen prüfen

Feature-Kodierung

• Einfluss der Kodierung auf Ergebnisse prüfen
• Auf Verzerrungen und Informationsverlust prüfen
• Auf Overfitting prüfen
• Regularisierung und Dimensionsreduktion einsetzen

Dimensionsreduktion

• Eingangsfeatures reduzieren, Kerninformationen bewahren
• Kann Verzerrungen erzeugen
• Fairnessbewusste Techniken wie t-SNE nutzen

Finanzberater:in

• Features „Jahreseinkommen“ und „Anlagehäufigkeit“
• Ausreißer anpassen und skalieren
• Subgruppenanalyse

Lass uns üben!

Verantwortungsvolle KI-Datenverwaltung