I dati mancano in modo casuale?

Gestire i dati mancanti in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Possibili cause di dati mancanti

Nota $-$ (variabile $\rightarrow$ campo dati o colonna in un DataFrame)

  • Valori mancanti in istanti o intervalli casuali di una variabile
  • Valori mancanti a causa di un'altra variabile
  • Valori mancanti per la mancanza della stessa o di un'altra variabile
Gestire i dati mancanti in Python

Tipi di missingness

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Gestire i dati mancanti in Python

Missing Completely at Random (MCAR)

Definizione:

"La missingness non è legata ad alcun valore, osservato o mancante"

Esempio di Missing Completely at Random

Gestire i dati mancanti in Python

MCAR - Un esempio

msno.matrix(diabetes)

Missing Completely at Random per il dataset diabetes

Gestire i dati mancanti in Python

Missing at Random (MAR)

Definizione:

"Esiste una relazione sistematica tra la missingness e altri dati osservati, ma non con i dati mancanti"

Esempio di Missing at Random

Gestire i dati mancanti in Python

MAR - Un esempio

msno.matrix(diabetes)

Missing at Random per il dataset diabetes

Gestire i dati mancanti in Python

Missing Not at Random (MNAR)

Definizione:

"C'è una relazione tra la mancanza e i suoi valori, mancanti o osservati"

Esempio di Missing Not at Random

Gestire i dati mancanti in Python

MNAR - Un esempio

  • Pattern di missingness di diabetes ordinato per Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random per il dataset diabetes

Gestire i dati mancanti in Python

Riepilogo

  • Possibili cause di missingness
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) o
    • Missing Not at Random (MNAR)
  • Rilevare i pattern ordinando le variabili
  • Mappare la missingness su MCAR, MAR e MNAR
Gestire i dati mancanti in Python

Passiamo alla pratica !

Gestire i dati mancanti in Python

Preparing Video For Download...