Ontbreken de data willekeurig?

Omgaan met ontbrekende gegevens in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Mogelijke redenen voor ontbrekende data

Let op $-$ (variabele $\rightarrow$ gegevensveld of kolom in een DataFrame)

  • Waarden ontbreken willekeurig in een variabele
  • Waarden ontbreken door een andere variabele
  • Waarden ontbreken door het ontbreken van dezelfde of een andere variabele
Omgaan met ontbrekende gegevens in Python

Typen ontbrekendheid

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Omgaan met ontbrekende gegevens in Python

Volledig Willekeurig Ontbrekend (MCAR)

Definitie:

"Ontbreken heeft geen relatie met welke waarden dan ook, geobserveerd of ontbrekend"

Voorbeeld van Volledig Willekeurig Ontbrekend

Omgaan met ontbrekende gegevens in Python

MCAR - Een voorbeeld

msno.matrix(diabetes)

Volledig Willekeurig Ontbrekend voor diabetes-dataset

Omgaan met ontbrekende gegevens in Python

Willekeurig Ontbrekend (MAR)

Definitie:

"Er is een systematische relatie tussen het ontbreken en andere geobserveerde data, maar niet met de ontbrekende data"

Voorbeeld van Willekeurig Ontbrekend

Omgaan met ontbrekende gegevens in Python

MAR - Een voorbeeld

msno.matrix(diabetes)

Willekeurig ontbrekend in diabetes-dataset

Omgaan met ontbrekende gegevens in Python

Niet Willekeurig Ontbrekend (MNAR)

Definitie:

"Er is een relatie tussen het ontbreken en de waarden zelf, ontbrekend of niet"

Voorbeeld van Niet Willekeurig Ontbrekend

Omgaan met ontbrekende gegevens in Python

MNAR - Een voorbeeld

  • Patroon van ontbrekende waarden in diabetes gesorteerd op Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Niet Willekeurig Ontbrekend voor diabetes-dataset

Omgaan met ontbrekende gegevens in Python

Samenvatting

  • Mogelijke oorzaken van ontbrekende data
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) of
    • Missing Not at Random (MNAR)
  • Patroon detecteren door variabelen te sorteren
  • Ontbreken koppelen aan MCAR, MAR en MNAR
Omgaan met ontbrekende gegevens in Python

Laten we oefenen!

Omgaan met ontbrekende gegevens in Python

Preparing Video For Download...