欠損データ：何が問題になるか

R による欠損データの補完処理

Michal Oleszak

Machine Learning Engineer

学習内容

このコースを修了すると、以下のことができるようになります：

欠損データに特別な処理が必要な理由を理解する。
統計的検定と可視化ツールを使って欠損データのパターンを検出する。
統計モデルや機械学習モデルを用いて補完（インピュテーション）を行う。
補完による不確実性を分析や予測に組み込み、結果をより頑健にする。

前提知識

このコースでは、以下のトピックに習熟していることを前提としています：

dplyr とパイプ演算子（%>%）を用いた基本的なデータ操作。
線形回帰・ロジスティック回帰モデル（lm()、glm()）。
基本的な確率の概念：確率変数、分布。

欠損データの基礎

欠損データへの最善策は、そもそも欠損を生じさせないことである。

残念ながら、欠損データはいたるところに存在します：

調査における無回答。
データ収集機器の技術的障害。
異なるデータソースの結合。
...

欠損データに常に注意を払う必要があります。

¹ Orchard, T., and M. A. Woodbury. 1972. "A Missing Information Principle: Theory and Applications." In Proceedings of the Sixth Berkeley Symposium on Mathematical Statistics and Probability, 1:697–715.

NHANESデータ

head(nhanes, 3)

  Age Gender Weight Height Diabetes TotChol Pulse PhysActive
1  16   male   73.2  172.0    FALSE    3.00    76       TRUE
2  17   male   72.3  176.0    FALSE    2.61    74       TRUE
3  12   male   57.7  158.9    FALSE    4.27    80       TRUE

nhanes %>% is.na() %>% colSums()

Age     Gender     Weight     Height   Diabetes    TotChol    Pulse   PhysActive 
0       0          9          8        1            85        32      26

不完全データを用いた線形回帰

model_1 <- lm(Diabetes ~ Age + Weight, 
              data = nhanes)

summary(model_1) の一部：

Residual standard error: 0.08571 on 804 
degrees of freedom (10 observations 
deleted due to missingness)

Adjusted R-squared:  0.005706 
F-statistic: 3.313 on 2 and 804 DF,  
p-value: 0.03691

model_2 <- lm(Diabetes ~ Age + Weight +
              TotChol, data = nhanes)

summary(model_2) の一部：

Residual standard error: 0.08264 on 718 
degrees of freedom (95 observations
deleted due to missingness)

Adjusted R-squared:  0.008422 
F-statistic: 3.041 on 3 and 718 DF,
p-value: 0.02834

主なポイント

統計ソフトウェアが欠損データを無警告で無視することがある。
その結果、異なるモデルの比較が困難になる場合がある。
不完全な観測値を単純に削除すると、偏った結果につながる可能性がある。
欠損データが存在する場合は、適切に対処する必要がある。

練習しましょう！

R による欠損データの補完処理