Saknas data slumpmässigt?

Hantera saknade värden i Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Möjliga orsaker till saknade data

Obs $-$ (variabel $\rightarrow$ datafält eller kolumn i en DataFrame)

  • Värden saknas slumpmässigt i en variabel
  • Värden saknas på grund av en annan variabel
  • Värden saknas på grund av att samma eller en annan variabel har saknade värden
Hantera saknade värden i Python

Typer av saknade data

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Hantera saknade värden i Python

Missing Completely at Random (MCAR)

Definition:

"Saknandet har inget samband med några värden, vare sig observerade eller saknade"

Exempel på Missing Completely at Random

Hantera saknade värden i Python

MCAR – ett exempel

msno.matrix(diabetes)

Missing Completely at Random för diabetesdataset

Hantera saknade värden i Python

Missing at Random (MAR)

Definition:

"Det finns ett systematiskt samband mellan saknandet och andra observerade data, men inte med de saknade värdena"

Exempel på Missing at Random

Hantera saknade värden i Python

MAR – ett exempel

msno.matrix(diabetes)

Missing at Random för diabetesdataset

Hantera saknade värden i Python

Missing Not at Random (MNAR)

Definition:

"Det finns ett samband mellan saknandet och dess egna värden, oavsett om de är saknade eller ej"

Exempel på Missing Not at Random

Hantera saknade värden i Python

MNAR – ett exempel

  • Saknademönster i diabetes sorterat efter Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random för diabetesdataset

Hantera saknade värden i Python

Sammanfattning

  • Möjliga orsaker till saknade data
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) eller
    • Missing Not at Random (MNAR)
  • Identifiera saknademönster genom att sortera variablerna
  • Koppla saknaden till MCAR, MAR och MNAR
Hantera saknade värden i Python

Nu kör vi en övning!

Hantera saknade värden i Python

Preparing Video For Download...