Datele lipsesc aleatoriu?

Gestionarea datelor lipsă în Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Cauze posibile ale datelor lipsă

Notă $-$ (variabilă $\rightarrow$ câmp de date sau coloană într-un DataFrame)

  • Valori lipsă la întâmplare în cadrul unei variabile
  • Valori lipsă din cauza unei alte variabile
  • Valori lipsă din cauza absenței aceleiași variabile sau a alteia
Gestionarea datelor lipsă în Python

Tipuri de date lipsă

  1. Date complet lipsă aleatoriu (MCAR)
  2. Date lipsă aleatoriu (MAR)
  3. Date lipsă non-aleatoriu (MNAR)
Gestionarea datelor lipsă în Python

Date complet lipsă aleatoriu (MCAR)

Definiție:

„Absența valorilor nu are nicio relație cu alte valori, observate sau lipsă"

Exemplu pentru date complet lipsă aleatoriu

Gestionarea datelor lipsă în Python

MCAR - Exemplu

msno.matrix(diabetes)

Date complet lipsă aleatoriu în setul de date diabetes

Gestionarea datelor lipsă în Python

Date lipsă aleatoriu (MAR)

Definiție:

„Există o relație sistematică între absența valorilor și alte date observate, dar nu și cu datele lipsă"

Exemplu pentru date lipsă aleatoriu

Gestionarea datelor lipsă în Python

MAR - Exemplu

msno.matrix(diabetes)

Date lipsă aleatoriu în setul de date diabetes

Gestionarea datelor lipsă în Python

Date lipsă non-aleatoriu (MNAR)

Definiție:

„Există o relație între absența valorilor și valorile în sine, indiferent dacă sunt prezente sau absente"

Exemplu pentru date lipsă non-aleatoriu

Gestionarea datelor lipsă în Python

MNAR - Exemplu

  • Tiparul valorilor lipsă din diabetes sortat după Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Date lipsă non-aleatoriu în setul de date diabetes

Gestionarea datelor lipsă în Python

Rezumat

  • Cauze posibile ale valorilor lipsă
    • Date complet lipsă aleatoriu (MCAR)
    • Date lipsă aleatoriu (MAR) sau
    • Date lipsă non-aleatoriu (MNAR)
  • Detectarea tiparului prin sortarea variabilelor
  • Asocierea tiparului cu MCAR, MAR și MNAR
Gestionarea datelor lipsă în Python

Să exersăm!

Gestionarea datelor lipsă în Python

Preparing Video For Download...