¿Los datos faltan al azar?

Cómo tratar datos faltantes en Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Posibles causas de datos faltantes

Nota $-$ (variable $\rightarrow$ campo de datos o columna en un DataFrame)

  • Valores que faltan simplemente en instancias o intervalos aleatorios de una variable
  • Valores que faltan por otra variable
  • Valores que faltan por la ausencia en la misma u otra variable
Cómo tratar datos faltantes en Python

Tipos de ausencia de datos

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Cómo tratar datos faltantes en Python

Missing Completely at Random (MCAR)

Definición:

«La ausencia de datos no guarda relación con ningún valor, observado o faltante»

Ejemplo de Missing Completely at Random

Cómo tratar datos faltantes en Python

MCAR - Un ejemplo

msno.matrix(diabetes)

Missing Completely at Random en el conjunto de datos diabetes

Cómo tratar datos faltantes en Python

Missing at Random (MAR)

Definición:

«Existe una relación sistemática entre la ausencia y otros datos observados, pero no con los datos faltantes»

Ejemplo de Missing at Random

Cómo tratar datos faltantes en Python

MAR - Un ejemplo

msno.matrix(diabetes)

Missing at Random en el conjunto de datos diabetes

Cómo tratar datos faltantes en Python

Missing Not at Random (MNAR)

Definición:

«Existe una relación entre la ausencia y sus propios valores, faltantes o no»

Ejemplo de Missing Not at Random

Cómo tratar datos faltantes en Python

MNAR - Un ejemplo

  • Patrón de ausencia en diabetes ordenado por Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random en el conjunto de datos diabetes

Cómo tratar datos faltantes en Python

Resumen

  • Posibles causas de ausencia
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) o
    • Missing Not at Random (MNAR)
  • Detectar el patrón de ausencia ordenando variables
  • Mapear la ausencia a MCAR, MAR y MNAR
Cómo tratar datos faltantes en Python

¡Vamos a practicar!

Cómo tratar datos faltantes en Python

Preparing Video For Download...