ข้อมูลสูญหายและการ Imputation

Python เบื้องต้นใน Power BI

Jacob H. Marquez

Data Scientist

ข้อมูลสูญหายคืออะไร?

ค่าที่ใช้แทน "ข้อมูลสูญหาย" ที่พบบ่อย:

  • null
  • NA
  • 99
  • ""
Python เบื้องต้นใน Power BI

ข้อมูลสูญหายคืออะไร?

ค่าที่ใช้แทน "ข้อมูลสูญหาย" ที่พบบ่อย:

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Python เบื้องต้นใน Power BI

เหตุใดข้อมูลจึงสูญหาย?

  • ผู้เข้าร่วมลืมหรือปฏิเสธที่จะตอบคำถามในแบบสำรวจ
  • ผู้เข้าร่วมออกกลางคันในส่วนที่สองของการศึกษา
  • เครื่องมือที่ใช้เก็บข้อมูลเกิดความผิดพลาด
  • กฎหมายความเป็นส่วนตัวจำกัดการใช้ข้อมูล
Python เบื้องต้นใน Power BI

ข้อมูลสูญหายแบบสุ่มหรือไม่?

ข้อมูลสูญหายแบบสุ่ม

ตารางแสดงปริมาณน้ำฝน (หน่วยนิ้ว) ของสามเมือง ได้แก่ Seattle, New York City และ Paris

Python เบื้องต้นใน Power BI

ข้อมูลสูญหายแบบสุ่มหรือไม่?

ข้อมูลสูญหายแบบไม่สุ่ม

ตารางแสดงปริมาณน้ำฝน (หน่วยนิ้ว) ของสามเมือง ได้แก่ Seattle, New York City และ Paris โดยมีหนึ่งแถวของ Seattle ที่หายไป

Python เบื้องต้นใน Power BI

ข้อมูลสูญหายแบบสุ่มหรือไม่?

ข้อมูลสูญหายแบบไม่สุ่ม

ตารางแสดงปริมาณน้ำฝน (หน่วยนิ้ว) ของสามเมือง ได้แก่ Seattle, New York City และ Paris โดยมีหนึ่งแถวของ Seattle ที่หายไป

  • เครื่องมือตรวจจับค่าต่ำไม่ได้
  • บางกลุ่มไม่ต้องการเปิดเผยข้อมูล
Python เบื้องต้นใน Power BI

จัดการข้อมูลสูญหายอย่างไร?

ข้อมูลสูญหายแบบไม่สุ่ม

  • หยุดการวิเคราะห์ชั่วคราว
  • ทำความเข้าใจสาเหตุที่ข้อมูลสูญหาย
  • เก็บข้อมูลเพิ่มเติม
  • บันทึกข้อจำกัดและสมมติฐานอย่างชัดเจน

ข้อมูลสูญหายแบบสุ่ม

  • ลบการสังเกตนั้นออก
  • เพิ่มตัวแปรตัวบ่งชี้สำหรับค่าที่หายไป (1) หรือไม่หายไป (0)
  • Imputation
Python เบื้องต้นใน Power BI

Imputation

นิยาม: การแทนค่าที่สูญหายด้วยค่าอื่น

ประเภทของ Imputation:

  • Mean
  • Median
  • Mode
  • ค่าก่อนหน้าหรือถัดไป

เหมาะสมที่สุดเมื่อข้อมูลในคอลัมน์สูญหายไม่เกิน 5%

อย่าลืมจัดเรียงค่าก่อน!

Python เบื้องต้นใน Power BI

Imputation - ตัวอย่าง

ข้อมูลสูญหายแบบสุ่ม

ตารางแสดงปริมาณน้ำฝน (หน่วยนิ้ว) ของสามเมือง ได้แก่ Seattle, New York City และ Paris โดยมีข้อมูลสูญหายบางส่วน

Median Imputation

ตารางแสดงปริมาณน้ำฝน (หน่วยนิ้ว) ของสามเมือง ได้แก่ Seattle, New York City และ Paris โดยแทนค่าสูญหายด้วย Median ของแต่ละเมือง

Python เบื้องต้นใน Power BI

ชุดข้อมูล

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Python เบื้องต้นใน Power BI

มาฝึกกันเถอะ!

Python เบื้องต้นใน Power BI

Preparing Video For Download...