Поиск и замена пропущенных значений

Работа с пропущенными данными в R

Nicholas Tierney

Statistician

Темы занятия

Как искать скрытые пропущенные значения
Замена меток пропущенных значений на NA
Проверка предположений о пропущенных данных

Поиск и замена пропущенных значений

Идеально = NA
Пропущенные значения могут быть закодированы неверно: например, "missing", "Not Available", "N/A"
Предполагать, что пропущенные значения закодированы как NA, — ошибка.

Разбираемся в хаосе

score	grade	place
3	N/A	-99
-99	E	97
4	missing	95
-99	na	92
7	n/a	-98
10		missing
12	.	88
16		.
9	N/a	86

Поиск пропущенных значений

miss_scan_count()

chaos %>%
  miss_scan_count(search = list("N/A"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        1
3 place        0

Поиск пропущенных значений

chaos %>%
  miss_scan_count(search = list("N/A",
                                "N/a"))

# A tibble: 3 x 2
  Variable     n
  <chr>    <int>
1 score        0
2 grade        2
3 place        0

Замена пропущенных значений

chaos %>%
  replace_with_na(replace = list(grade = c("N/A", "N/a")))

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 NA      -99    
2   -99 E       97     
3     4 missing 95     
4   -99 na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 NA      86

«Scoped»-варианты replace_with_na

replace_with_na может быть громоздкой:
- Использование для множества переменных и значений
- Сложные случаи: замена значений меньше -1, только в символьных столбцах.
replace_with_na_all() — все переменные.
replace_with_na_at() — выбранное подмножество переменных.
replace_with_na_if() — переменные, удовлетворяющие условию (числовые, символьные).

Применение scoped-вариантов replace_with_na

chaos %>%
  replace_with_na_all(condition = ~.x == -99)

# A tibble: 9 x 3
  score grade   place  
  <dbl> <chr>   <chr>  
1     3 N/A     NA     
2    NA E       97     
3     4 missing 95     
4    NA na      92     
5     7 n/a     -98    
6    10 " "     missing
7    12 .       88     
8    16 ""      .      
9     9 N/a     86

Применение scoped-вариантов replace_with_na

chaos %>% 
  replace_with_na_all(condition = ~.x %in% c("N/A", "missing", "na"))

# A tibble: 9 x 3
  score grade place
  <dbl> <chr> <chr>
1     3 NA    -99  
2   -99 E     97   
3     4 NA    95   
4   -99 NA    92   
5     7 n/a   -98  
6    10 " "   NA   
7    12 .     88   
8    16 ""    .    
9     9 N/a   86

Давайте потренируемся!

Работа с пропущенными данными в R