เมื่อใดและอย่างไรควรลบข้อมูลที่หายไป

การจัดการข้อมูลที่หายไปใน Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

ประเภทของการลบข้อมูล

หมายเหตุ: ใช้เมื่อค่าที่หายไปเป็นแบบ MCAR

Pairwise deletion สำหรับชุดข้อมูล diabetes 768 แถว × 9 คอลัมน์

diabetes['Glucose'].mean()

121.687

diabetes.count()

diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()

121.687

Listwise deletion สำหรับชุดข้อมูล diabetes 768 แถว × 9 คอลัมน์

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()

กราฟ missingness matrix ของชุดข้อมูล diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

กราฟ missingness matrix ของชุดข้อมูล diabetes หลังลบค่า Glucose

diabetes['BMI'].isnull().sum()

diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

กราฟ missingness matrix ของชุดข้อมูล diabetes หลังลบค่า Glucose และ BMI

การจัดการข้อมูลที่หายไปใน Python