ข้อมูลที่หายไปเป็นแบบสุ่มหรือไม่?

การจัดการข้อมูลที่หายไปใน Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

สาเหตุที่เป็นไปได้ของข้อมูลที่หายไป

หมายเหตุ $-$ (variable $\rightarrow$ ฟิลด์ข้อมูลหรือคอลัมน์ใน DataFrame)

  • ค่าที่หายไปแบบสุ่มในตัวแปร
  • ค่าที่หายไปเนื่องจากตัวแปรอื่น
  • ค่าที่หายไปเนื่องจากการขาดหายของตัวแปรเดิมหรือตัวแปรอื่น
การจัดการข้อมูลที่หายไปใน Python

ประเภทของการขาดหายของข้อมูล

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
การจัดการข้อมูลที่หายไปใน Python

Missing Completely at Random (MCAR)

นิยาม:

"การขาดหายไม่มีความสัมพันธ์กับค่าใด ๆ ทั้งที่สังเกตได้และที่หายไป"

ตัวอย่าง Missing Completely at Random

การจัดการข้อมูลที่หายไปใน Python

MCAR - ตัวอย่าง

msno.matrix(diabetes)

Missing Completely at Random ในชุดข้อมูล diabetes

การจัดการข้อมูลที่หายไปใน Python

Missing at Random (MAR)

นิยาม:

"มีความสัมพันธ์เชิงระบบระหว่างการขาดหายกับข้อมูลที่สังเกตได้ แต่ไม่เกี่ยวกับข้อมูลที่หายไป"

ตัวอย่าง Missing at Random

การจัดการข้อมูลที่หายไปใน Python

MAR - ตัวอย่าง

msno.matrix(diabetes)

Missing at Random ในชุดข้อมูล diabetes

การจัดการข้อมูลที่หายไปใน Python

Missing Not at Random (MNAR)

นิยาม:

"มีความสัมพันธ์ระหว่างการขาดหายกับค่าของมันเอง ไม่ว่าจะหายไปหรือไม่"

ตัวอย่าง Missing Not at Random

การจัดการข้อมูลที่หายไปใน Python

MNAR - ตัวอย่าง

  • รูปแบบการขาดหายของ diabetes เรียงลำดับตาม Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random ในชุดข้อมูล diabetes

การจัดการข้อมูลที่หายไปใน Python

สรุป

  • สาเหตุที่เป็นไปได้ของการขาดหาย
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) หรือ
    • Missing Not at Random (MNAR)
  • ตรวจจับรูปแบบการขาดหายโดยการเรียงลำดับตัวแปร
  • จำแนกการขาดหายเป็น MCAR, MAR และ MNAR
การจัดการข้อมูลที่หายไปใน Python

มาฝึกกันเถอะ!

การจัดการข้อมูลที่หายไปใน Python

Preparing Video For Download...