欠損データの概要
Rでの欠損データの扱い方
Nicholas Tierney
Statistician
はじめに
欠損データへの最善策は、そもそも欠損を生じさせないことである
--Gertrude Mary Cox
実際のデータ分析では、欠損データとの格闘が避けられません
欠損データは分析に予期しない影響を及ぼす可能性があります
不適切な補完は、誤った推定や判断につながります
学習内容
- 欠損値とは何か
- 欠損データの検出方法
- 欠損データの整形と整理
- データが欠損する理由の探索
- 欠損値の補完
欠損値とは？
欠損値とは、記録されるべきであったにもかかわらず記録されなかった値のことです。
NA = Not Available（利用不可）。
欠損値の確認方法
x <- c(1, NA, 3, NA, NA, 5)any_na(x)
TRUE
are_na(x)
FALSE TRUE FALSE TRUE TRUE FALSE
n_miss(x)
3
prop_miss(x)
0.5
欠損データの操作
NA + 任意の値 = NA
heights
Sophie Dan Fred
165 177 NA
sum(heights)
NA
欠損データの落とし穴
NaN：非数（Not a Number）。
any_na(NaN)
TRUE
any_na(NULL)
FALSE
any_na(Inf)
FALSE
欠損データの落とし穴（2）
NA | TRUE
TRUE
NA | FALSE
NA
NA + NaN
NA
NaN + NA
NaN
練習しましょう！
Rでの欠損データの扱い方
