最后说明

R 中的缺失值填补处理

Michal Oleszak

Machine Learning Engineer

您已掌握

第1章：缺失数据问题：

  • 处理不完整数据需特别方法。
  • 三种机制：MCAR、MAR、MNAR。
  • 可视化与统计检验揭示缺失模式。

第2章：基于供体的填补：

  • 均值填补通常较差。
  • 热卡填补（hot-deck）。
  • k 近邻（kNN）填补。
R 中的缺失值填补处理

您已掌握

第3章：基于模型的填补

  • 变量循环填补直至收敛。
  • 从条件分布抽样以复现变异性。
  • 基于树（随机森林）的填补。

第4章：填补带来的不确定性

  • 通过自助法进行多重填补。
  • 使用 MICE 的多重填补。
R 中的缺失值填补处理

如何选择填补方法？

一些宽松指南：

  • 数据量巨大或需生产实时运行？

    请选择热卡填补。

  • 基于领域知识，怀疑变量间有特定关系？

    请选择基于模型的填补。

  • 不需很快，且变量关系不明显？

    请选择 kNN 或基于树的填补。

R 中的缺失值填补处理

如何估计填补不确定性？

一些宽松指南：

  • 需要相对较快？
  • 已有模型思路并会设定？

请选择 MICE。

  • 想用非参数方法（kNN、hot-deck）？
  • 不想操心特定模型假设？

请选择自助法（bootstrapping）。

R 中的缺失值填补处理

后续学习

  • miceVignettes：

    • 被动填补与后处理
    • 多层数据的填补
    • 敏感性分析

  • S. van Buuren (2018)。Flexible Imputation of Missing Data（第2版）。CRC/Chapman & Hall，佛州博卡拉顿。

  • 其他 R 包：Amelia、mi

Stef van Buuren 著《Flexible Imputation of Missing Data》封面。

R 中的缺失值填补处理

恭喜，并祝顺利！

R 中的缺失值填补处理

Preparing Video For Download...