最終まとめ

R による欠損データの補完処理

Michal Oleszak

Machine Learning Engineer

学習内容の振り返り

第1章：欠損データの問題:

  • 不完全なデータのモデリングには特別な処理が必要です。
  • 3つの欠損メカニズム：MCAR、MAR、MNAR。
  • 可視化と統計検定により欠損パターンを把握できます。

第2章：ドナーベースの補完:

  • 平均値補完は一般的に適切ではありません。
  • ホットデック補完。
  • k近傍法（kNN）補完。
R による欠損データの補完処理

学習内容の振り返り

第3章：モデルベースの補完

  • 変数を繰り返し補完し収束させる。
  • 条件付き分布からのサンプリングによるデータのばらつきの再現。
  • ランダムフォレストを用いたツリーベースの補完。

第4章：補完による不確実性

  • ブートストラップによる多重補完。
  • MICEを用いた多重補完。
R による欠損データの補完処理

補完方法の選び方

大まかなガイドライン：

  • データ量が膨大、またはリアルタイム処理が必要な場合？

    ホットデック補完を使用する。

  • ドメイン知識から変数間の特定の関係が予想される場合？

    モデルベースの補完を使用する。

  • 処理速度が優先されず、変数間の関係が明確でない場合？

    kNNまたはツリーベースの補完を使用する。

R による欠損データの補完処理

補完による不確実性の推定方法

大まかなガイドライン：

  • 比較的高速である必要がある場合？
  • 使用するモデルとその指定方法について考えがある場合？

MICEを使用する。

  • ノンパラメトリック手法（kNN、ホットデック）を使用したい場合？
  • 特定モデルの前提条件を気にしたくない場合？

ブートストラップを使用する。

R による欠損データの補完処理

次のステップ

  • miceVignettes:

    • パッシブ補完とポスト処理
    • マルチレベルデータの補完
    • 感度分析

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • その他のRパッケージ：Amelia、mi

Stef van Buurenによる書籍「Flexible Imputation of Missing Data」の表紙。

R による欠損データの補完処理

おめでとうございます！頑張ってください！

R による欠損データの補完処理

Preparing Video For Download...