Les données sont-elles manquantes au hasard?

Traitement de données évolutif en R

Michael Kane

Assistant Professor, Yale University

Traitement de données évolutif en R

Types de données manquantes

  • Missing Completely at Random (MCAR)
  • Missing at Random (MAR)
  • Missing Not at Random (MNAR)
Traitement de données évolutif en R

MCAR

Missing Completely at Random

  • Impossible de prévoir quelles valeurs manquent
  • Possible de supprimer les données manquantes
Traitement de données évolutif en R

MAR

Missing at Random

  • Les absences dépendent de variables du jeu de données
  • Utiliser l'imputation multiple pour estimer les valeurs manquantes
Traitement de données évolutif en R

MNAR

Missing Not at Random

  • Ni MCAR ni MAR
  • Relation déterministe entre variables
Traitement de données évolutif en R

Gérer les données manquantes dans ce cours

  • Le traitement complet des données manquantes dépasse la portée de ce cours

  • Nous vérifierons si MCAR est plausible et supprimerons les valeurs manquantes

Traitement de données évolutif en R

Vérification rapide de MAR

  • Recoder une colonne : un si la donnée manque, zéro sinon
  • Régression logistique des autres variables sur celle-ci
  • Une valeur p significative indique MAR
  • Répéter pour les autres colonnes touchées
  • Certaines valeurs p peuvent l'être par hasard ; ajuster le seuil selon le nombre de régressions
Traitement de données évolutif en R

Exemple : vérification rapide de MAR

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))
Traitement de données évolutif en R

Exemple : vérification rapide de MAR

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
Traitement de données évolutif en R

Passons à la pratique !

Traitement de données évolutif en R

Preparing Video For Download...