Analiza la cantidad de valores faltantes

Cómo tratar datos faltantes en Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Carga el conjunto de calidad del aire

Conjunto de datos de calidad del aire

contiene las lecturas de los sensores de Ozone, Solar, Temperature y Wind

df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56

DataFrame de nulidad

Usa los métodos .isnull() o .isna() sobre el DataFrame

airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False

Valores faltantes totales

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64

Porcentaje de valores faltantes

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64

Barra de nulidad

Paquete Missingno

Paquete para analizar gráficamente los valores faltantes

import missingno as msno

msno.bar(airquality)

Barras de faltantes para el conjunto de calidad del aire

Matriz de nulidad

msno.matrix(airquality)

Matriz de faltantes para el conjunto de calidad del aire

Matriz de nulidad

msno.matrix(airquality)

Matriz de faltantes para el conjunto de calidad del aire

Matriz de nulidad

msno.matrix(airquality)

Matriz de faltantes para el conjunto de calidad del aire

Matriz de nulidad

msno.matrix(airquality)

Matriz de faltantes para el conjunto de calidad del aire

Matriz de nulidad para series temporales

msno.matrix(airquality, freq='M')

Matriz de faltantes con frecuencia mensual para el conjunto de calidad del aire

Matriz de nulidad para series temporales

msno.matrix(airquality, freq='M')

Matriz de faltantes con frecuencia mensual para el conjunto de calidad del aire

Ajuste fino de la matriz

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Matriz de faltantes con frecuencia mensual para el conjunto de calidad del aire

Resumen

En esta lección vimos cómo analizar

la cantidad de faltantes numéricamente
la cantidad de faltantes gráficamente
el porcentaje de faltantes
la matriz de nulidad para conjuntos de datos regulares
la matriz de nulidad para series temporales

¡Vamos a practicar!

Cómo tratar datos faltantes en Python