Kdy a jak mazat chybějící data

Dealing with Missing Data in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Typy mazání

  1. Párové mazání
  2. Mazání po řádcích

Poznámka: Používá se, když jsou hodnoty MCAR.

Dealing with Missing Data in Python

Párové mazání

diabetes DataFrame

Párové mazání v datasetu diabetes 768 řádků × 9 sloupců

diabetes['Glucose'].mean()

121.687

diabetes.count()

763

diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()

121.687
Dealing with Missing Data in Python

Mazání po řádcích (Complete Case)

diabetes DataFrame

Mazání po řádcích v datasetu diabetes 768 řádků × 9 sloupců

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)
Dealing with Missing Data in Python

Mazání v datasetu diabetes

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()

5

Graf matice chybějících hodnot pro diabetes

Dealing with Missing Data in Python

Mazání v datasetu diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

Graf matice chybějících hodnot datasetu diabetes

Dealing with Missing Data in Python

Mazání v datasetu diabetes

diabetes['BMI'].isnull().sum()

11

diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

Graf matice chybějících hodnot datasetu diabetes

Dealing with Missing Data in Python

Shrnutí

  • Párové mazání
  • Mazání po řádcích
  • Mazání se používá jen u hodnot MCAR
Dealing with Missing Data in Python

Pojďme cvičit!

Dealing with Missing Data in Python

Preparing Video For Download...