Détecter des motifs dans les valeurs manquantes

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Corrélations entre valeurs manquantes

  • Carte thermique ou carte de corrélation des manquants
  • Dendrogramme des manquants
Gérer les données manquantes avec Python

Carte thermique des manquants

  • Graphique des corrélations de manquants entre colonnes
  • Explique les dépendances de valeurs manquantes entre colonnes

Carte thermique des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python
import missingno as msno
diabetes = pd.read_csv('pima-indians-diabetes data.csv')

msno.heatmap(diabetes)

Carte thermique des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python

Dendrogramme des manquants

  • Diagramme en arbre des manquants
  • Décrit la corrélation des variables par regroupement
msno.dendrogram(diabetes)

Dendrogramme des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python

Dendrogramme des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python

Dendrogramme des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python

Dendrogramme des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python

Dendrogramme des valeurs manquantes pour l'ensemble sur le diabète

Gérer les données manquantes avec Python

Résumé

  • Analyser la carte thermique des manquants
      msno.heatmap(df)
    
  • Analyser le dendrogramme des manquants
      msno.dendrogram(df)
    
Gérer les données manquantes avec Python

Passons à la pratique !

Gérer les données manquantes avec Python

Preparing Video For Download...