Analyser l'ampleur des valeurs manquantes

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Charger le jeu de données Air Quality

Jeu de données Air Quality

  • contient les relevés des capteurs : Ozone, Solar, Température et Vent
df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56
Gérer les données manquantes avec Python

DataFrame de nullité

  • Utilisez les méthodes .isnull() ou .isna() sur le DataFrame
airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False
Gérer les données manquantes avec Python

Nombre total de valeurs manquantes

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64
Gérer les données manquantes avec Python

Pourcentage de valeurs manquantes

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64
Gérer les données manquantes avec Python

Histogramme de nullité

Bibliothèque Missingno

  • Outil d'analyse graphique des valeurs manquantes
import missingno as msno

msno.bar(airquality)

Histogramme de nullité pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Matrice de nullité

msno.matrix(airquality)

Matrice de nullité pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Matrice de nullité

msno.matrix(airquality)

Matrice de nullité pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Matrice de nullité

msno.matrix(airquality)

Matrice de nullité pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Matrice de nullité

msno.matrix(airquality)

Matrice de nullité pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Matrice de nullité pour séries chronologiques

msno.matrix(airquality, freq='M')

Matrice de nullité avec fréquence mensuelle pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Matrice de nullité pour séries chronologiques

msno.matrix(airquality, freq='M')

Matrice de nullité avec fréquence mensuelle pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Ajuster la matrice

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Matrice de nullité avec fréquence mensuelle pour le jeu de données de qualité de l'air

Gérer les données manquantes avec Python

Résumé

Dans cette leçon, nous avons appris à analyser

  • l'ampleur des valeurs manquantes, numériquement
  • l'ampleur des valeurs manquantes, graphiquement
  • le pourcentage de valeurs manquantes
  • la matrice de nullité pour des jeux de données usuels
  • la matrice de nullité pour des séries chronologiques
Gérer les données manquantes avec Python

Passons à la pratique !

Gérer les données manquantes avec Python

Preparing Video For Download...