最後重點

在 R 中以插補處理遺漏值

Michal Oleszak

Machine Learning Engineer

你已學會

第 1 章：遺漏值問題：

  • 建模含遺漏值的資料需要特別處理。
  • 三種遺漏機制：MCAR、MAR、MNAR。
  • 視覺化與統計檢定可洞察遺漏樣態。

第 2 章：供體式（donor-based）插補：

  • 以平均值插補通常效果不佳。
  • 熱甲板（hot-deck）插補。
  • k 近鄰（kNN）插補。
在 R 中以插補處理遺漏值

你已學會

第 3 章：模型式插補

  • 針對變數反覆迴圈插補，直到收斂。
  • 自條件分配抽樣以重現資料變異。
  • 使用隨機森林的樹為基礎插補。

第 4 章：插補帶來的不確定性

  • 以自助法（bootstrapping）進行多重插補。
  • 使用 MICE 的多重插補。
在 R 中以插補處理遺漏值

如何選擇插補方法？

一些鬆綁的指引：

  • 資料量巨大，或需在生產環境即時執行？

    使用 hot-deck 插補。

  • 基於領域知識，懷疑變數間有特定關係？

    使用 模型式插補。

  • 不需很快，且變數關係不明顯？

    使用 kNN 或樹為基礎插補。

在 R 中以插補處理遺漏值

如何估計插補的不確定性？

一些鬆綁的指引：

  • 需要相對快速？
  • 你已經有模型想法，知道如何設定？

使用 MICE。

  • 想用非參數方法（kNN、hot-deck）？
  • 不想煩惱特定模型的假設？

使用 bootstrapping。

在 R 中以插補處理遺漏值

下一步

  • miceVignettes：

    • 被動插補與後處理
    • 多層級資料的插補
    • 敏感度分析

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • 其他 R 套件：Amelia、mi

Stef van Buuren 著作「Flexible Imputation of Missing Data」書籍封面。

在 R 中以插補處理遺漏值

恭喜，祝你順利！

在 R 中以插補處理遺漏值

Preparing Video For Download...