Chybí data náhodně?

Dealing with Missing Data in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Možné příčiny chybějících dat

Poznámka $-$ (proměnná $\rightarrow$ datové pole nebo sloupec v DataFrame)

  • Hodnoty chybí jednoduše náhodně v určitých místech nebo intervalech proměnné
  • Hodnoty chybí kvůli jiné proměnné
  • Hodnoty chybí kvůli chybějícím hodnotám téže nebo jiné proměnné
Dealing with Missing Data in Python

Typy chybějících dat

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Dealing with Missing Data in Python

Missing Completely at Random (MCAR)

Definice:

„Chybějící hodnoty nemají žádný vztah k žádným hodnotám, pozorovaným ani chybějícím"

Příklad Missing Completely at Random

Dealing with Missing Data in Python

MCAR – příklad

msno.matrix(diabetes)

Missing Completely at Random pro dataset diabetes

Dealing with Missing Data in Python

Missing at Random (MAR)

Definice:

„Existuje systematický vztah mezi chybějícími hodnotami a dalšími pozorovanými daty, ale ne s chybějícími daty"

Příklad Missing at Random

Dealing with Missing Data in Python

MAR – příklad

msno.matrix(diabetes)

Missing at Random pro dataset diabetes

Dealing with Missing Data in Python

Missing Not at Random (MNAR)

Definice:

„Existuje vztah mezi chybějícími hodnotami a jejich hodnotami, chybějícími i existujícími"

Příklad Missing Not at Random

Dealing with Missing Data in Python

MNAR – příklad

  • Vzorec chybějících hodnot v diabetes seřazený podle Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random pro dataset diabetes

Dealing with Missing Data in Python

Shrnutí

  • Možné příčiny chybějících dat
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) nebo
    • Missing Not at Random (MNAR)
  • Odhalení vzorce chybějících hodnot pomocí řazení proměnných
  • Zařazení chybějících hodnot do kategorií MCAR, MAR a MNAR
Dealing with Missing Data in Python

Pojďme cvičit!

Dealing with Missing Data in Python

Preparing Video For Download...