Typische Datenprobleme

Einführung in Datenkompentenz

Anneleen Rummens

Data Scientist

Schmutzige Daten

Schmutzige Daten sind:
- falsch
- unvollständig
- inkonsistent
Verursacht durch menschliches Versagen, technische Probleme oder Probleme bei der Datenerfassung
„Müll rein, Müll raus“-Konzept: Schmutzige Daten können zu falschen Schlussfolgerungen führen

Schmutziges Fenster

Datenfehler

Die Daten sind falsch oder inkonsistent
Meist durch menschliche oder technische Fehler bei der Erfassung des Wertes oder des Formats verursacht
Gegenmaßnahmen:
- Wenn der ursprüngliche Wert oder das gültige Format bekannt ist: Daten korrigieren
- Wenn unbekannt: Daten löschen

Puzzle mit dem falschen Teil

Fehlende Daten

Daten sind unvollständig
Problematisch, wenn:
- viele Datenpunkte fehlen
- den fehlenden Daten Muster zugrunde liegen
Gegenmaßnahmen:
- Daten löschen
- Imputieren (Ableiten/Vervollständigen)

Puzzle mit fehlendem Teil

Datenverzerrung

Gesellschaftliche Verzerrungen können sich in Daten als Datenverzerrung niederschlagen
Führt zu nicht repräsentativen Daten und entsprechenden Ergebnissen
Schwer zu erkennen und zu beseitigen
Gegenmaßnahmen:
- Solide Datenerhebung
- Bewusste Schlussfolgerungen
- Erklärbare KI-Modelle

Graues Puzzle mit weißen Teilen, die außen vor bleiben

Datenbereinigung

Methoden zur Bekämpfung von Datenproblemen
Wichtiger Vorbereitungsschritt für jede Datenanalyse
Aber nicht alle Datenprobleme sind (vollständig) lösbar
Es ist immer möglich, irgendeine Art von Analyse durchzuführen

Hand mit Handschuh und Sprühflasche

Lass uns üben!

Einführung in Datenkompentenz

Preparing Video For Download...