Les données sont-elles manquantes au hasard ?

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Causes possibles de données manquantes

Remarque $-$ (variable $\rightarrow$ champ de données ou colonne dans un DataFrame)

  • Valeurs simplement manquantes à des moments ou intervalles aléatoires dans une variable
  • Valeurs manquantes à cause d'une autre variable
  • Valeurs manquantes en raison du caractère manquant de la même variable ou d'une autre
Gérer les données manquantes avec Python

Types de caractère manquant

  1. Manquantes complètement au hasard (MCAR)
  2. Manquantes au hasard (MAR)
  3. Manquantes non au hasard (MNAR)
Gérer les données manquantes avec Python

Manquantes complètement au hasard (MCAR)

Définition :

« Le caractère manquant n'a aucun lien avec les valeurs, observées ou manquantes. »

Exemple : Manquantes complètement au hasard

Gérer les données manquantes avec Python

MCAR - Exemple

msno.matrix(diabetes)

Manquantes complètement au hasard : jeu de données diabetes

Gérer les données manquantes avec Python

Manquantes au hasard (MAR)

Définition :

« Il existe une relation systématique entre le caractère manquant et d'autres données observées, mais pas avec les données manquantes. »

Exemple : Manquantes au hasard

Gérer les données manquantes avec Python

MAR - Exemple

msno.matrix(diabetes)

Manquantes au hasard : jeu de données diabetes

Gérer les données manquantes avec Python

Manquantes non au hasard (MNAR)

Définition :

« Le caractère manquant est lié à ses propres valeurs, manquantes ou non manquantes. »

Exemple : Manquantes non au hasard

Gérer les données manquantes avec Python

MNAR - Exemple

  • Profil de caractère manquant de diabetes trié par Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Manquantes non au hasard : jeu de données diabetes

Gérer les données manquantes avec Python

Résumé

  • Causes possibles du caractère manquant
    • Manquantes complètement au hasard (MCAR),
    • Manquantes au hasard (MAR) ou
    • Manquantes non au hasard (MNAR)
  • Détecter le profil de caractère manquant en triant les variables
  • Faire correspondre le caractère manquant à MCAR, MAR et MNAR
Gérer les données manquantes avec Python

Passons à la pratique !

Gérer les données manquantes avec Python

Preparing Video For Download...