Wprowadzenie do brakujących danych
Praca z brakującymi danymi w R
Nicholas Tierney
Statistician
Wprowadzenie
Najlepszą rzeczą, jaką można zrobić z brakującymi danymi, jest ich unikanie
--Gertrude Mary Cox
Praca z rzeczywistymi danymi = praca z brakującymi danymi
Brakujące dane mogą mieć nieoczekiwany wpływ na analizę
Błędna imputacja prowadzi do nieprawidłowych szacunków i decyzji.
Czego się nauczysz
- Czym są braki danych
- Jak wykrywać brakujące dane
- Jak porządkować brakujące dane
- Analiza przyczyn braków danych
- Imputacja brakujących wartości
Wymagana wiedza
- Podstawowa i średniozaawansowana znajomość R
- Doświadczenie w tworzeniu wykresów z ggplot2
- Doświadczenie w manipulacji danymi z dplyr
- Doświadczenie w dopasowywaniu modeli liniowych w R
Czym są brakujące wartości?
Brakujące wartości to wartości, które powinny zostać zarejestrowane, ale nie zostały.
NA = Not Available (niedostępne).
Jak sprawdzić, czy dane zawierają braki?
x <- c(1, NA, 3, NA, NA, 5)any_na(x)
TRUE
are_na(x)
FALSE TRUE FALSE TRUE TRUE FALSE
n_miss(x)
3
prop_miss(x)
0.5
Praca z brakującymi danymi
NA + cokolwiek = NA
heights
Sophie Dan Fred
165 177 NA
sum(heights)
NA
Pułapki brakujących danych
NaN: Not a Number.
any_na(NaN)
TRUE
any_na(NULL)
FALSE
any_na(Inf)
FALSE
Pułapki brakujących danych (2)
NA | TRUE
TRUE
NA | FALSE
NA
NA + NaN
NA
NaN + NA
NaN
Czas na ćwiczenia!
Praca z brakującymi danymi w R
