Rechercher et remplacer les valeurs manquantes

Gérer les données manquantes en R

Nicholas Tierney

Statistician

Au programme

Comment repérer des valeurs manquantes cachées
Remplacer les libellés de valeurs manquantes par NA
Vérifier vos hypothèses sur l'absentéisme

Rechercher et remplacer les valeurs manquantes

Idéal = NA
Les valeurs manquantes peuvent être mal codées : p. ex. « missing », « Not Available », « N/A »
Supposer qu'elles sont codées en NA est une erreur.

Comprendre le chaos

score	grade	place
3	N/A	-99
-99	E	97
4	missing	95
-99	na	92
7	n/a	-98
10		missing
12	.	88
16		.
9	N/a	86

Rechercher des valeurs manquantes

miss_scan_count()

chaos %>%
  miss_scan_count(search = list("N/A"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        1
3 place        0

Rechercher des valeurs manquantes

chaos %>%
  miss_scan_count(search = list("N/A",
                                "N/a"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        2
3 place        0

Remplacer des valeurs manquantes

chaos %>%
  replace_with_na(replace = list(grade = c("N/A", "N/a")))

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 NA      -99    
2   -99 E       97     
3     4 missing 95     
4   -99 na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 NA      86

« Scoped variants » de replace_with_na

replace_with_na peut être répétitif :
- À utiliser sur de nombreuses variables et valeurs
- Cas complexes : remplacer les valeurs < -1, n'affecter que les colonnes de type caractère.
replace_with_na_all() Toutes les variables.
replace_with_na_at() Un sous-ensemble de variables choisies.
replace_with_na_if() Un sous-ensemble de variables répondant à une condition (numérique, caractère).

Utiliser les scoped variants de replace_with_na

chaos %>%
  replace_with_na_all(condition = ~.x == -99)

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 N/A     NA     
2    NA E       97     
3     4 missing 95     
4    NA na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 N/a     86

Utiliser les scoped variants de replace_with_na

chaos %>% 
  replace_with_na_all(condition = ~.x %in% c("N/A", "missing", "na"))

# A tibble: 9 x 3
  score grade place
  <dbl> <chr> <chr>
1     3 NA    -99  
2   -99 E     97   
3     4 NA    95   
4   -99 NA    92   
5     7 n/a   -98  
6    10 " "   NA   
7    12 .     88   
8    16 ""    .    
9     9 N/a   86

Passons à la pratique !

Gérer les données manquantes en R