欠損データパターンの可視化

R による欠損データの補完処理

Michal Oleszak

Machine Learning Engineer

検定アプローチの問題点

  • 統計的検定による欠損パターンの検出は煩雑です。
  • t検定はデータに関する多くの仮定を伴います。
  • p値に基づく推論には問題が生じやすい（有意水準の選択、p値ハッキングなど）。
R による欠損データの補完処理

欠損データの可視化

  • 別のアプローチ：可視化！
  • 使いやすい。
  • 欠損データパターンの検出が可能。
  • データ品質の他の側面についても知見を提供。

VIMパッケージには欠損データのプロットに便利なツールが揃っています。このレッスンでは：

  • 集計プロット
  • スパインプロット
  • モザイクプロット
R による欠損データの補完処理

集計プロット

nhanes %>% aggr(combined = TRUE, numbers = TRUE)

各変数の欠損・観測値の組み合わせをグリッドで示す集計プロット。各組み合わせに対応する欠損パターンを持つ観測値の割合が表示されています。

R による欠損データの補完処理

スパインプロット

nhanes %>% select(Gender, TotChol) %>% spineMiss()

男性と女性に対応する2本のバーからなるスパインプロット。各バー内に、該当する性別における総コレステロール変数の欠損値の割合が示されています。

R による欠損データの補完処理

モザイクプロット

nhanes %>% mosaicMiss(highlight = "TotChol", plotvars = c("Gender", "PhysActive"))

長方形を構成するタイルの集まりからなるモザイクプロット。各タイルは「Gender」と「PhysActive」の値の組み合わせに対応し、タイル内に総コレステロール変数の欠損値の割合が示されています。

R による欠損データの補完処理

欠損データをプロットしましょう！

R による欠損データの補完処理

Preparing Video For Download...