¿Por qué tratar los datos faltantes?
Cómo tratar datos faltantes en Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
¿Por qué existen datos faltantes?
- Los datos del mundo real son desordenados
¿Sabías que el 72% de las organizaciones cree que los problemas de calidad de datos afectan la confianza y percepción de los clientes?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
¿Por qué existen datos faltantes?
- Se pierden valores durante la adquisición de datos
- Sensores meteorológicos defectuosos en análisis del tiempo
- Información clínica incompleta para diagnóstico, etc.
- Valores eliminados por accidente
- Pérdida de datos
- Borrado por error humano
En este curso, aprenderás
- la importancia de tratar los valores faltantes
- detectar valores faltantes en tus datos desordenados
- analizar los tipos de ausencia
- tratar correctamente los valores faltantes en
- numéricos
- series temporales
- categóricos
En este curso, aprenderás
- a imputar (reemplazar) valores faltantes con técnicas simples
- a imputar con técnicas avanzadas
- y a evaluar el mejor método para tratarlos
Flujo de trabajo para tratar valores faltantes
- Convertir todos los valores faltantes a valores nulos.
- Analizar la cantidad y el tipo de ausencia en los datos.
- Eliminar o imputar los valores faltantes según corresponda.
- Evaluar y comparar el rendimiento del conjunto de datos tratado/imputado.
Operaciones con valores NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Operaciones con valores NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
¡Vamos a practicar!
Cómo tratar datos faltantes en Python
