Rechercher et remplacer les valeurs manquantes

Gérer les données manquantes avec R

Nicholas Tierney

Statistician

Ce que nous allons voir

Repérer les valeurs manquantes cachées
Remplacer les libellés de valeurs manquantes par NA
Vérifier vos hypothèses sur le caractère manquant

Rechercher et remplacer les valeurs manquantes

Idéal = NA
Des valeurs manquantes peuvent être mal codées : p. ex., "missing", "Not Available", "N/A"
Supposer que les valeurs manquantes sont codées NA. C'est une erreur.

Comprendre le chaos

score	grade	place
3	N/A	-99
-99	E	97
4	missing	95
-99	na	92
7	n/a	-98
10		missing
12	.	88
16		.
9	N/a	86

Recherche de valeurs manquantes

miss_scan_count()

chaos %>%
  miss_scan_count(search = list("N/A"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        1
3 place        0

Recherche de valeurs manquantes

chaos %>%
  miss_scan_count(search = list("N/A",
                                "N/a"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        2
3 place        0

Remplacer les valeurs manquantes

chaos %>%
  replace_with_na(replace = list(grade = c("N/A", "N/a")))

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 NA      -99    
2   -99 E       97     
3     4 missing 95     
4   -99 na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 NA      86

« scoped variants » de replace_with_na

replace_with_na peut être répétitif :
- À utiliser sur plusieurs variables et valeurs
- Cas complexes : remplacer les valeurs < -1, n'affecter que les colonnes de type caractère.
replace_with_na_all() Toutes les variables.
replace_with_na_at() Un sous-ensemble de variables sélectionnées.
replace_with_na_if() Un sous-ensemble de variables selon une condition (numériques, caractères).

Utiliser les variantes « scoped » de replace_with_na

chaos %>%
  replace_with_na_all(condition = ~.x == -99)

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 N/A     NA     
2    NA E       97     
3     4 missing 95     
4    NA na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 N/a     86

Utiliser les variantes « scoped » de replace_with_na

chaos %>% 
  replace_with_na_all(condition = ~.x %in% c("N/A", "missing", "na"))

# A tibble: 9 x 3
  score grade place
  <dbl> <chr> <chr>
1     3 NA    -99  
2   -99 E     97   
3     4 NA    95   
4   -99 NA    92   
5     7 n/a   -98  
6    10 " "   NA   
7    12 .     88   
8    16 ""    .    
9     9 N/a   86

Passons à la pratique !

Gérer les données manquantes avec R