Fehlen die Daten zufällig?

Umgang mit fehlenden Daten in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Mögliche Gründe für fehlende Daten

Hinweis $-$ (variable $\rightarrow$ Datenfeld oder Spalte in einem DataFrame)

  • Werte fehlen zufällig an einzelnen Stellen oder Intervallen in einer Variable
  • Werte fehlen aufgrund einer anderen Variable
  • Werte fehlen, weil dieselbe oder eine andere Variable fehlend ist
Umgang mit fehlenden Daten in Python

Arten von Missingness

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Umgang mit fehlenden Daten in Python

Missing Completely at Random (MCAR)

Definition:

„Missingness hat keinen Zusammenhang mit irgendwelchen Werten, beobachtet oder fehlend"

Beispiel für Missing Completely at Random

Umgang mit fehlenden Daten in Python

MCAR – Ein Beispiel

msno.matrix(diabetes)

Missing Completely at Random im diabetes-Datensatz

Umgang mit fehlenden Daten in Python

Missing at Random (MAR)

Definition:

„Es gibt einen systematischen Zusammenhang zwischen Missingness und anderen beobachteten Daten, aber nicht den fehlenden Daten"

Beispiel für Missing at Random

Umgang mit fehlenden Daten in Python

MAR – Ein Beispiel

msno.matrix(diabetes)

Missing at Random im diabetes-Datensatz

Umgang mit fehlenden Daten in Python

Missing Not at Random (MNAR)

Definition:

„Es gibt einen Zusammenhang zwischen Missingness und ihren eigenen Werten, fehlend oder nicht fehlend"

Beispiel für Missing Not at Random

Umgang mit fehlenden Daten in Python

MNAR – Ein Beispiel

  • Missingness-Muster von diabetes, sortiert nach Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random im diabetes-Datensatz

Umgang mit fehlenden Daten in Python

Zusammenfassung

  • Mögliche Gründe für Missingness
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) oder
    • Missing Not at Random (MNAR)
  • Missingness-Muster durch Sortieren der Variablen erkennen
  • Missingness MCAR, MAR & MNAR zuordnen
Umgang mit fehlenden Daten in Python

Lass uns üben!

Umgang mit fehlenden Daten in Python

Preparing Video For Download...