Quand et comment supprimer des données manquantes

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Types de suppressions

  1. Suppression par paires
  2. Suppression par cas complets

Remarque : à utiliser quand les valeurs sont MCAR.

Gérer les données manquantes avec Python

Suppression par paires

DataFrame diabetes

Suppression par paires pour l'ensemble diabetes 768 lignes × 9 colonnes

diabetes['Glucose'].mean()

121.687

diabetes.count()

763

diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()

121.687
Gérer les données manquantes avec Python

Suppression par cas complets (listwise)

DataFrame diabetes

Suppression par cas complets pour l'ensemble diabetes 768 lignes × 9 colonnes

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)
Gérer les données manquantes avec Python

Suppression dans le DataFrame diabetes

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()

5

Graphique matrice des manquants de diabetes

Gérer les données manquantes avec Python

Suppression dans le DataFrame diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

Graphique matrice des manquants du jeu diabetes

Gérer les données manquantes avec Python

Suppression dans le DataFrame diabetes

diabetes['BMI'].isnull().sum()

11

diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

Graphique matrice des manquants du jeu diabetes

Gérer les données manquantes avec Python

Résumé

  • Suppression par paires
  • Suppression par cas complets
  • À utiliser seulement quand les valeurs sont MCAR
Gérer les données manquantes avec Python

Passons à la pratique !

Gérer les données manquantes avec Python

Preparing Video For Download...