Kiedy i jak usuwać brakujące dane

Braki danych w Pythonie

Suraj Donthi

Deep Learning & Computer Vision Consultant

Rodzaje usuwania danych

  1. Usuwanie parami
  2. Usuwanie listowe

Uwaga: stosowane gdy wartości są MCAR.

Braki danych w Pythonie

Usuwanie parami

DataFrame diabetes

Usuwanie parami dla zbioru diabetes 768 wierszy × 9 kolumn

diabetes['Glucose'].mean()
121.687
diabetes.count()
763
diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()
121.687
Braki danych w Pythonie

Usuwanie listowe (pełne przypadki)

DataFrame diabetes

Usuwanie listowe dla zbioru diabetes 768 wierszy × 9 kolumn

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)
Braki danych w Pythonie

Usuwanie wierszy w DataFrame diabetes

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()
5

Macierz braków danych dla zbioru diabetes

Braki danych w Pythonie

Usuwanie wierszy w DataFrame diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

Macierz braków danych dla zbioru diabetes

Braki danych w Pythonie

Usuwanie wierszy w DataFrame diabetes

diabetes['BMI'].isnull().sum()
11
diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

Macierz braków danych dla zbioru diabetes

Braki danych w Pythonie

Podsumowanie

  • Usuwanie parami
  • Usuwanie listowe
  • Stosowane wyłącznie gdy wartości są MCAR
Braki danych w Pythonie

Czas na ćwiczenia!

Braki danych w Pythonie

Preparing Video For Download...