Datenintegration

Verantwortungsvolle KI-Datenverwaltung

Maria Prokofieva

Lead ML engineer

Was wir abdecken

• Warum Integration nötig ist
• Vorteile und Herausforderungen
• Schritte der Datenintegration

Warum mehrere Quellen?

• Umfassender Überblick
• Sicherheitsnetz
• Datenvielfalt und Fairness
• Erklärbarkeit, Transparenz, Verantwortung

Achtung vor Problemen

• Datenqualität beeinträchtigen
• Inkonsistenzen einführen
• Verzerrungen verstärken
• Repräsentation verringern
• Modellkomplexität
• Geringere Transparenz und Erklärbarkeit

¹ Bild von Streamline HQ

Schritt 1. Auswahl der Datenquellen

• Bewertungsschritte befolgen
• Datenquellen prüfen
• Ausgewogeneres, umfassenderes Dataset

Schritt 2. Datentypen angleichen

• Gemeinsame Variablen erkennen
• Namen und Formate standardisieren
• Numerische Daten normalisieren
• Kategorische Daten zusammenführen
• Datenkörnung angleichen

Schritt 3. Verzerrungen und Repräsentation verbessern

• Gewichtung
  • Domänenwissen
  • Gewichte für unter-/überrepräsentierte Gruppen
• Ausgleich
  • Gleiche Repräsentation
  • Over-/Undersampling
• Algorithmische Checks
• Gap-Analyse

Schritt 4. Dokumentieren

• Detaillierte Aufzeichnungen:
  • Schritte der Datenintegration
  • Getroffene Entscheidungen
• Detaillierte Metadaten:
  • Datenquellen
  • Erhebungsmethode
  • Angewandte Transformation

Projekt: Städtischer Verkehrsfluss

• Datenquellen auswählen
• Gemeinsame Merkmale identifizieren
• Ein einheitliches Datenmodell entwickeln

¹ Bilder von Streamline HQ

Projekt: Städtischer Verkehrsfluss

• Statistische Techniken für Bias und Repräsentation nutzen
• Gewichtungsanpassungen anwenden
• Gap-Analyse und Neu-Gewichtung
• Dokumentieren

Lass uns üben!

Verantwortungsvolle KI-Datenverwaltung