Pourquoi gérer les données manquantes ?
Gérer les données manquantes avec Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Pourquoi y a-t-il des données manquantes ?
- Les données du monde réel sont désordonnées
Saviez-vous que 72 % des organisations estiment que la qualité des données nuit à la confiance et à la perception des clients ?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Pourquoi y a-t-il des données manquantes ?
- Valeurs perdues lors de l'acquisition des données
- Capteurs météo défectueux pendant l'analyse
- Dossier patient incomplet pour un diagnostic, etc.
- Valeurs supprimées par erreur
- Perte de données
- Suppression accidentelle due à une erreur humaine
Dans ce cours, vous apprendrez :
- l'importance de traiter les valeurs manquantes
- détecter les valeurs manquantes dans vos données désordonnées
- analyser les types de manque
- traiter correctement les valeurs manquantes pour les
- numériques
- séries chronologiques
- catégorielles
Dans ce cours, vous apprendrez :
- à imputer (remplacer) les valeurs manquantes avec des techniques simples
- à imputer avec des techniques avancées
- à évaluer la meilleure méthode pour traiter les valeurs manquantes
Flux de travail pour traiter les valeurs manquantes
- Convertir toutes les valeurs manquantes en valeurs nulles.
- Analyser la quantité et le type de manque dans les données.
- Supprimer ou imputer les valeurs manquantes de façon appropriée.
- Évaluer et comparer la performance de l'ensemble traité/imputé.
Opérations sur les valeurs NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Opérations sur les valeurs NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Passons à la pratique !
Gérer les données manquantes avec Python
