Când și cum să ștergeți datele lipsă

Gestionarea datelor lipsă în Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Tipuri de ștergere

  1. Ștergere pereche
  2. Ștergere listwise

Notă: Se utilizează când valorile sunt MCAR.

Gestionarea datelor lipsă în Python

Ștergere pereche

DataFrame-ul diabetes

Ștergere pereche pentru setul de date diabetes 768 rânduri × 9 coloane

diabetes['Glucose'].mean()
121.687
diabetes.count()
763
diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()
121.687
Gestionarea datelor lipsă în Python

Ștergere listwise sau caz complet

DataFrame-ul diabetes

Ștergere listwise pentru setul de date diabetes 768 rânduri × 9 coloane

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)
Gestionarea datelor lipsă în Python

Ștergere în DataFrame-ul diabetes

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()
5

Grafic matrice de lipsuri pentru setul de date diabetes

Gestionarea datelor lipsă în Python

Ștergere în DataFrame-ul diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

Grafic matrice de lipsuri pentru setul de date diabetes

Gestionarea datelor lipsă în Python

Ștergere în DataFrame-ul diabetes

diabetes['BMI'].isnull().sum()
11
diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

Grafic matrice de lipsuri pentru setul de date diabetes

Gestionarea datelor lipsă în Python

Rezumat

  • Ștergere pereche
  • Ștergere listwise
  • Ștergerea se aplică doar când valorile sunt MCAR
Gestionarea datelor lipsă în Python

Să exersăm!

Gestionarea datelor lipsă în Python

Preparing Video For Download...