Вступ до пропущених даних
Робота з пропущеними даними в R
Nicholas Tierney
Statistician
Вступ
Найкраще, що можна зробити з пропущеними даними, — не мати їх
— Gertrude Mary Cox
Робота з реальними даними = робота з пропущеними даними
Пропуски можуть неочікувано впливати на аналіз
Погана імпутація призводить до хибних оцінок і рішень.
Що ви вивчите
- Що таке пропущені значення
- Як знаходити пропуски
- Як упорядковувати й чистити дані з пропусками
- Дослідити, чому дані пропущені
- Імпутувати пропущені значення
Необхідні знання
- Досвід роботи з R від базового до середнього рівня
- Досвід побудови графіків у ggplot2
- Досвід використання dplyr для маніпуляцій і перестановки даних
- Досвід побудови лінійних моделей у R
Що таке пропущені значення?
Пропущені значення — це ті, які мали бути записані, але не були.
NA = Not Available.
Як перевірити, чи є пропуски?
x <- c(1, NA, 3, NA, NA, 5)any_na(x)
TRUE
are_na(x)
FALSE TRUE FALSE TRUE TRUE FALSE
n_miss(x)
3
prop_miss(x)
0.5
Робота з пропущеними даними
NA + будь-що = NA
heights
Sophie Dan Fred
165 177 NA
sum(heights)
NA
Підводні камені з пропусками
NaN: Not a Number.
any_na(NaN)
TRUE
any_na(NULL)
FALSE
any_na(Inf)
FALSE
Підводні камені з пропусками (2)
NA | TRUE
TRUE
NA | FALSE
NA
NA + NaN
NA
NaN + NA
NaN
Давайте потренуємось!
Робота з пропущеними даними в R
