Zoeken naar en vervangen van missende waarden

Omgaan met missende data in R

Nicholas Tierney

Statistician

Wat we gaan behandelen

Hoe je verborgen missende waarden vindt
Labels voor missend vervangen door NA
Je aannames over missendheid checken

Zoeken naar en vervangen van missende waarden

Ideaal = NA
Missende waarden kunnen fout gecodeerd zijn: bv. "missing", "Not Available", "N/A"
Aannemen dat missende waarden als NA staan. Dat is fout.

Chaos begrijpen

score	grade	place
3	N/A	-99
-99	E	97
4	missing	95
-99	na	92
7	n/a	-98
10		missing
12	.	88
16		.
9	N/a	86

Zoeken naar missende waarden

miss_scan_count()

chaos %>%
  miss_scan_count(search = list("N/A"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        1
3 place        0

Zoeken naar missende waarden

chaos %>%
  miss_scan_count(search = list("N/A",
                                "N/a"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        2
3 place        0

Missende waarden vervangen

chaos %>%
  replace_with_na(replace = list(grade = c("N/A", "N/a")))

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 NA      -99    
2   -99 E       97     
3     4 missing 95     
4   -99 na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 NA      86

"scoped variants" van replace_with_na

replace_with_na kan repetitief zijn:
- Gebruik het over veel variabelen en waarden
- Complexe gevallen: vervang waarden < -1, alleen tekenreeks-kolommen beïnvloeden.
replace_with_na_all() Alle variabelen.
replace_with_na_at() Een subset van geselecteerde variabelen.
replace_with_na_if() Een subset van variabelen die aan een voorwaarde voldoen (numeriek, tekenreeks).

Scoped-varianten van replace_with_na gebruiken

chaos %>%
  replace_with_na_all(condition = ~.x == -99)

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 N/A     NA     
2    NA E       97     
3     4 missing 95     
4    NA na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 N/a     86

Scoped-varianten van replace_with_na gebruiken

chaos %>% 
  replace_with_na_all(condition = ~.x %in% c("N/A", "missing", "na"))

# A tibble: 9 x 3
  score grade place
  <dbl> <chr> <chr>
1     3 NA    -99  
2   -99 E     97   
3     4 NA    95   
4   -99 NA    92   
5     7 n/a   -98  
6    10 " "   NA   
7    12 .     88   
8    16 ""    .    
9     9 N/a   86

Laten we oefenen!

Omgaan met missende data in R