好的插補要素是什麼

在 R 中處理遺漏值

Nicholas Tierney

Statistician

課程重點

  • 了解良好與不良的插補
  • 評估缺值：
    • 平均、尺度、分散
  • 使用視覺化：
    • 盒鬚圖
    • 散佈圖
    • 直方圖
    • 多變數
在 R 中處理遺漏值

從壞例子認識好插補

# A tibble: 6 x 1
       x
   <dbl>
 1     1
 2     4
 3     9
 4    16
 5    NA
 6    36

mean(df$x, na.rm = TRUE)

# A tibble: 6 x 1
       x
   <dbl>
 1   1  
 2   4  
 3   9  
 4  16  
 5  13.2
 6  36

13.2
在 R 中處理遺漏值

示範平均插補

含缺值的資料

使用平均插補的資料

在 R 中處理遺漏值

探討不良插補：平均值

  • impute_mean(data$variable)
  • impute_mean_if(data, is.numeric)
  • impute_mean_at(data, vars(variable1, variable2))
  • impute_mean_all(data)
在 R 中處理遺漏值

追蹤缺值

aq_impute_mean <- airquality %>%
  bind_shadow(only_miss = TRUE) %>%
  impute_mean_all() %>%
  add_label_shadow()
aq_impute_mean

# A tibble: 153 x 9
   Ozone Solar.R  Wind  Temp Month   Day Ozone_NA Solar.R_NA any_missing
   <dbl>   <dbl> <dbl> <dbl> <dbl> <dbl> <fct>    <fct>      <chr>      
 1  41      190    7.4    67     5     1 !NA      !NA        Not Missing
 2  36      118    8      72     5     2 !NA      !NA        Not Missing
 3  12      149   12.6    74     5     3 !NA      !NA        Not Missing
 4  18      313   11.5    62     5     4 !NA      !NA        Not Missing
 5  42.1    186.  14.3    56     5     5 NA       NA         Missing    
 6  28      186.  14.9    66     5     6 !NA      NA         Missing
在 R 中處理遺漏值

用盒鬚圖探索插補

在評估插補時，檢視變化或相似之處：

  • 平均／中位數（盒鬚圖）
  • 分散程度
  • 尺度
在 R 中處理遺漏值

以盒鬚圖視覺化插補

ggplot(aq_impute_mean,
       aes(x = Ozone_NA,
           y = Ozone)) +
  geom_boxplot()

在 R 中處理遺漏值

用散佈圖探索不良插補

在評估插補時，檢視變化／相似之處：

  • 分散（散佈圖）
ggplot(aq_impute_mean,
       aes(x = Ozone,
           y = Solar.R,
           color = any_missing)) +
  geom_point()

在 R 中處理遺漏值

多變數的插補探索

aq_imp <- airquality %>%
  bind_shadow() %>%
  impute_mean_all()

aq_imp_long <- shadow_long(aq_imp, 
                           Ozone, 
                           Solar.R)

aq_imp_long

# A tibble: 306 x 4
   variable value variable_NA value_NA
   <chr>    <dbl> <chr>       <chr>   
 1 Ozone     41   Ozone_NA    !NA     
 2 Ozone     36   Ozone_NA    !NA     
 3 Ozone     12   Ozone_NA    !NA     
 4 Ozone     18   Ozone_NA    !NA     
 5 Ozone     42.1 Ozone_NA    NA      
 6 Ozone     28   Ozone_NA    !NA     
 7 Ozone     23   Ozone_NA    !NA     
 8 Ozone     19   Ozone_NA    !NA     
 9 Ozone      8   Ozone_NA    !NA     
10 Ozone     42.1 Ozone_NA    NA      
# ... with 296 more rows
在 R 中處理遺漏值

多變數的插補探索

ggplot(aq_imp_long,
       aes(x = value,
           fill = value_NA)) + 
  geom_histogram() + 
  facet_wrap(~ variable)

在 R 中處理遺漏值

一起來練習吧！

在 R 中處理遺漏值

Preparing Video For Download...