Úplnost

Čištění dat v R

Maggie Matsui

Content Developer @ DataCamp

Co jsou chybějící data?

Dokončené puzzle s chybějícím dílkem. Popis: Nastává, když není pro proměnnou v pozorování uložena žádná hodnota.

Může být reprezentováno jako NA, nan, 0, 99, . ...

Čištění dat v R

Co jsou chybějící data?

missing.png

Může být reprezentováno jako NA, nan, 0, 99, . ...

Robot reprezentující technické chyby.

Čištění dat v R

Co jsou chybějící data?

missing.png

Může být reprezentováno jako NA, nan, 0, 99, . ...

Postava osoby reprezentující lidskou chybu.

Čištění dat v R

Kvalita ovzduší

head(airquality)

   Ozone Solar.R Wind Temp Month Day
1     41     190  7.4   67     5   1
2     36     118  8.0   72     5   2
3     12     149 12.6   74     5   3
4     18     313 11.5   62     5   4
5     NA      NA 14.3   56     5   5
6     28      NA 14.9   66     5   6
Čištění dat v R

Kvalita ovzduší

head(airquality)

   Ozone Solar.R Wind Temp Month Day
1     41     190  7.4   67     5   1
2     36     118  8.0   72     5   2
3     12     149 12.6   74     5   3
4     18     313 11.5   62     5   4
5     NA      NA 14.3   56     5   5
6     28      NA 14.9   66     5   6
Čištění dat v R

Hledání chybějících hodnot

is.na(airquality)

     Ozone Solar.R  Wind  Temp Month   Day
[1,] FALSE   FALSE FALSE FALSE FALSE FALSE
[2,] FALSE   FALSE FALSE FALSE FALSE FALSE
[3,] FALSE   FALSE FALSE FALSE FALSE FALSE
[4,] FALSE   FALSE FALSE FALSE FALSE FALSE
[5,]  TRUE    TRUE FALSE FALSE FALSE FALSE
[6,] FALSE    TRUE FALSE FALSE FALSE FALSE
Čištění dat v R

Počítání chybějících hodnot

# Count missing vals in entire dataset
sum(is.na(airquality))

44
Čištění dat v R

Vizualizace chybějících hodnot

library(visdat)
vis_miss(airquality)

Vizualizace vytvořená z kódu. Krajní levý sloupec má nejvíce černých čar, druhý sloupec má druhý nejvyšší počet. Ostatní sloupce černé čáry nemají.

Čištění dat v R

Analýza chybějících dat

airquality %>%
  mutate(miss_ozone = is.na(Ozone)) %>%

  group_by(miss_ozone) %>%
  summarize(across(everything(), median, na.rm = TRUE))

  miss_ozone Ozone Solar.R  Wind  Temp Month   Day
  <lgl>      <dbl>   <int> <dbl> <dbl> <dbl> <dbl>
1 FALSE       31.5     207   9.7    65     7    16
2 TRUE        NA       194   9.7    99     6    15
Čištění dat v R

Analýza chybějících dat

airquality %>%
  arrange(Temp) %>%
  vis_miss()

Stejná vizualizace jako předtím, ale v levém sloupci (Ozone) jsou všechny chybějící hodnoty dole.

Čištění dat v R

Typy chybějících dat

Vlevo: šestistranná kostka reprezentující náhodně zcela chybějící data. Uprostřed: kostka s jednou tečkou na každé straně reprezentující náhodně chybějící data. Vpravo: čtyři čtverce ukazující na sebe v cyklu reprezentující nenáhodně chybějící data.

Čištění dat v R

Typy chybějících dat

Zcela náhodně chybějící data: žádný systematický vztah mezi chybějícími daty a ostatními hodnotami. Příklad: Chyby při zadávání dat.

Čištění dat v R

Typy chybějících dat

Náhodně chybějící data: systematický vztah mezi chybějícími daty a jinými pozorovanými hodnotami. Příklad: Chybějící data ozonu při vysokých teplotách.

Čištění dat v R

Typy chybějících dat

Nenáhodně chybějící data: systematický vztah mezi chybějícími daty a nepozorovanými hodnotami. Příklad: Chybějící hodnoty teploty při vysokých teplotách.

Čištění dat v R

Práce s chybějícími daty

Jednoduché přístupy:

  1. Odstranění chybějících dat
  2. Imputace (doplnění) statistickými mírami (průměr, medián, modus...) nebo znalostí domény

Složitější přístupy:

  1. Imputace algoritmickým přístupem
  2. Imputace pomocí modelů strojového učení

 

Více informací v Dealing with Missing Data in R

Čištění dat v R

Odstranění chybějících hodnot

airquality %>%
  filter(!is.na(Ozone), !is.na(Solar.R))

   Ozone Solar.R  Wind  Temp Month   Day
   <int>   <int> <dbl> <int> <int> <int>
 1    41     190   7.4    67     5     1
 2    36     118     8    72     5     2
 3    12     149  12.6    74     5     3
 4    18     313  11.5    62     5     4
 5    23     299   8.6    65     5     7
 6    19      99  13.8    59     5     8
Čištění dat v R

Nahrazení chybějících hodnot

airquality %>%
  mutate(ozone_filled = ifelse(is.na(Ozone), mean(Ozone, na.rm = TRUE), Ozone))

   Ozone Solar.R  Wind  Temp Month   Day ozone_filled
   <int>   <int> <dbl> <int> <int> <int>        <dbl>
 1    41     190   7.4    67     5     1         41  
 2    36     118   8      72     5     2         36  
 3    12     149  12.6    74     5     3         12  
 4    18     313  11.5    62     5     4         18  
 5    NA      NA  14.3    56     5     5         42.1
Čištění dat v R

Pojďme si procvičit!

Čištění dat v R

Preparing Video For Download...