欠損データのパターンを見つける

Pythonで欠損データに対処する

Suraj Donthi

Deep Learning & Computer Vision Consultant

欠損の相関を見つける

  • 欠損の相関ヒートマップ(または相関図)
  • 欠損のデンドログラム
Pythonで欠損データに対処する

欠損ヒートマップ

  • 列間の欠損相関のグラフ
  • 列間の欠損の依存関係を説明

糖尿病データの欠損ヒートマップ

Pythonで欠損データに対処する
import missingno as msno
diabetes = pd.read_csv('pima-indians-diabetes data.csv')

msno.heatmap(diabetes)

糖尿病データの欠損ヒートマップ

Pythonで欠損データに対処する

欠損デンドログラム

  • 欠損のツリーダイアグラム
  • 変数をグループ化して相関を示す
msno.dendrogram(diabetes)

糖尿病データの欠損デンドログラム

Pythonで欠損データに対処する

糖尿病データの欠損デンドログラム

Pythonで欠損データに対処する

糖尿病データの欠損デンドログラム

Pythonで欠損データに対処する

糖尿病データの欠損デンドログラム

Pythonで欠損データに対処する

糖尿病データの欠損デンドログラム

Pythonで欠損データに対処する

まとめ

  • 欠損のヒートマップを分析
      msno.heatmap(df)
    
  • 欠損のデンドログラムを分析
      msno.dendrogram(df)
    
Pythonで欠損データに対処する

練習しましょう!

Pythonで欠損データに対処する

Preparing Video For Download...