可视化缺失数据模式

R 中的缺失值填补处理

Michal Oleszak

Machine Learning Engineer

检验法的问题

  • 用统计检验检测缺失模式很繁琐。
  • t 检验对数据有诸多假设。
  • 依赖 p 值的推断易出问题（显著性阈值选择、p-hacking）。
R 中的缺失值填补处理

可视化缺失数据

  • 另一种方法：可视化！
  • 简单易用。
  • 能发现缺失数据模式。
  • 还能洞察其他数据质量问题。

VIM 包提供了出色的缺失数据绘图工具。本课将介绍：

  • 聚合图（Aggregation plot）
  • 脊柱图（Spine plot）
  • 马赛克图（Mosaic plot）
R 中的缺失值填补处理

聚合图

nhanes %>% aggr(combined = TRUE, numbers = TRUE)

一个聚合图：网格展示各变量的缺失与观测组合。每种组合对应显示该缺失模式的观测百分比。

R 中的缺失值填补处理

脊柱图

nhanes %>% select(Gender, TotChol) %>% spineMiss()

脊柱图包含两条对应男性与女性的条形。每条内显示相应性别在总胆固醇变量上的缺失百分比。

R 中的缺失值填补处理

马赛克图

nhanes %>% mosaicMiss(highlight = "TotChol", plotvars = c("Gender", "PhysActive"))

一个马赛克图：由矩形瓷砖组成。每块对应一个"Gender"取值和一个"PhysActive"取值。每块内显示总胆固醇变量的缺失百分比。

R 中的缺失值填补处理

让我们把缺失画出来！

R 中的缺失值填补处理

Preparing Video For Download...