Datenprüfung

Verantwortungsvolle KI-Datenverwaltung

Maria Prokofieva

Lead ML engineer

Was wir behandeln

• Daten-Audits
• Datenvalidierung
• Bias-Minderungsstrategien

Datenprüfung

• Vollständige Datenprüfung über den gesamten Projektlebenszyklus

• Technischen und verantwortungsvollen Zustand prüfen

• Nach größeren Projektänderungen durchführen

• Dokumentation für das Audit aktualisieren

Daten-Audits durchführen

• Häufig durchführen
• Verhindern, dass unbeabsichtigt Probleme entstehen
• Vor Komplikationen und Fehlerverstärkung schützen
• Transparent und accountable bleiben
• Vertrauen aufbauen

KI-Finanzberater

• Verhaltensprofil und Ziele des Plans
• Strategie entwickeln
• Ziele mit Investmentprodukten abgleichen
• Investment-Portfolio erstellen

Datenquellen:

• Nutzerdaten aus Chat und Uploads
• Externe Echtzeit- und historische Daten (Bloomberg)

¹ Bild: Streamline HQ

Projektdatenquellen

• Vom Nutzer bereitgestellte Daten
• Externe Daten aus API

¹ Bild: Streamline HQ

Setup fürs Daten-Audit

Nutze den Data Management Plan:

• Details zu Daten
• Audit-Häufigkeit
• Erforderliche Tests
• Zuständiges Team

¹ Bild: Streamline HQ

Zeitplan für Daten-Audits

• Erste Datenexploration
• Regelmäßige Audits für Preprocessing und Modeling
• Bei wesentlichen Datenänderungen

¹ Bild: Streamline HQ

Laufende Daten-Audits

• Laufendes Monitoring
• Datenqualität und Compliance
• Modellleistung und Fairness-Metriken
• Datennutzung und -speicherung
• Sicherheit und Skalierbarkeit

Modelldrift

• Modell wird mit der Zeit evtl. ungenauer
• Gesellschaftlicher Wandel, Marktbedingungen, Basisvariablen
• Drift erkennen durch Logging von Vorhersagen und Bewertungsmetriken
• Alarm bei Schwellwertüberschreitung
• Beheben: neue Daten prüfen oder Modell neu trainieren

Daten-Audits beim KI-Finanzberater

• Erste Datenexploration
• Preprocessing: Transformationen und Cleaning
• Modeling mit Fairnessprüfung
• Audit vor Deployment
• Kontinuierliches Monitoring

¹ Bild: Streamline HQ

Lass uns üben!

Verantwortungsvolle KI-Datenverwaltung