Коли й як видаляти пропущені дані

Робота з пропущеними даними в Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Види видалення

  1. Парне видалення
  2. Повне видалення записів

Примітка: Використовуйте, коли значення є MCAR.

Робота з пропущеними даними в Python

Парне видалення

Датафрейм diabetes

Парне видалення для набору даних diabetes 768 рядків × 9 стовпців

diabetes['Glucose'].mean()
121.687
diabetes.count()
763
diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()
121.687
Робота з пропущеними даними в Python

Повне видалення записів (Listwise) або повні випадки

Датафрейм diabetes

Повне видалення записів для набору даних diabetes 768 рядків × 9 стовпців

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)
Робота з пропущеними даними в Python

Видалення в датафреймі diabetes

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()
5

Графік матриці пропусків для diabetes

Робота з пропущеними даними в Python

Видалення в датафреймі diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

Графік матриці пропусків для набору даних diabetes

Робота з пропущеними даними в Python

Видалення в датафреймі diabetes

diabetes['BMI'].isnull().sum()
11
diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

Графік матриці пропусків для набору даних diabetes

Робота з пропущеними даними в Python

Підсумок

  • Парне видалення
  • Повне видалення записів
  • Видалення застосовуйте лише коли значення є MCAR
Робота з пропущеними даними в Python

Давайте потренуємось!

Робота з пропущеними даними в Python

Preparing Video For Download...