欠損値をいつ・どう削除するか

Pythonで欠損データに対処する

Suraj Donthi

Deep Learning & Computer Vision Consultant

削除の種類

注: 値がMCARのときに使用します。

糖尿病データセットのペアワイズ削除 768 行 × 9 列

diabetes['Glucose'].mean()

121.687

diabetes.count()

diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()

121.687

糖尿病データセットのリストワイズ削除 768 行 × 9 列

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()

糖尿病データセットの欠損マトリクス

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

糖尿病データセットの欠損マトリクス（Glucose削除後）

diabetes['BMI'].isnull().sum()

diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

糖尿病データセットの欠損マトリクス（GlucoseとBMI削除後）

Pythonで欠損データに対処する