Когда и как удалять пропущенные данные

Работа с пропущенными данными в Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Типы удаления

Примечание: применяется, когда значения MCAR.

Попарное удаление для набора данных diabetes 768 строк × 9 столбцов

diabetes['Glucose'].mean()

121.687

diabetes.count()

diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()

121.687

Построчное удаление для набора данных diabetes 768 строк × 9 столбцов

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()

График матрицы пропусков для diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

График матрицы пропусков после удаления Glucose

diabetes['BMI'].isnull().sum()

diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

График матрицы пропусков после удаления Glucose и BMI

Работа с пропущенными данными в Python