Введение в пропущенные данные
Работа с пропущенными данными в R
Nicholas Tierney
Statistician
Введение
Лучшее, что можно сделать с пропущенными данными, — не допускать их появления
--Гертруда Мэри Кокс
Работа с реальными данными = работа с пропущенными значениями
Пропущенные данные могут неожиданно влиять на результаты анализа
Некачественное заполнение пропусков приводит к ошибочным оценкам и решениям.
Чему вы научитесь
- Что такое пропущенные значения
- Как обнаружить пропущенные данные
- Как привести данные с пропусками в порядок
- Почему данные бывают пропущены
- Как заполнять пропущенные значения
Предполагаемые знания
- Базовый и средний уровень владения R
- Опыт построения графиков с помощью ggplot2
- Опыт работы с dplyr для обработки и преобразования данных
- Опыт построения линейных моделей в R
Что такое пропущенные значения?
Пропущенные значения — это значения, которые должны были быть записаны, но не были.
NA = Not Available (недоступно).
Как проверить наличие пропущенных значений?
x <- c(1, NA, 3, NA, NA, 5)any_na(x)
TRUE
are_na(x)
FALSE TRUE FALSE TRUE TRUE FALSE
n_miss(x)
3
prop_miss(x)
0.5
Работа с пропущенными данными
NA + что угодно = NA
heights
Sophie Dan Fred
165 177 NA
sum(heights)
NA
Подводные камни пропущенных данных
NaN: не число (Not a Number).
any_na(NaN)
TRUE
any_na(NULL)
FALSE
any_na(Inf)
FALSE
Подводные камни пропущенных данных (2)
NA | TRUE
TRUE
NA | FALSE
NA
NA + NaN
NA
NaN + NA
NaN
Давайте потренируемся!
Работа с пропущенными данными в R
