ทำไมต้องจัดการกับข้อมูลที่หายไป?
การจัดการข้อมูลที่หายไปใน Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
ทำไมข้อมูลจึงหายไป?
- ข้อมูลในโลกจริงมักไม่เป็นระเบียบ
รู้หรือไม่ว่า 72% ขององค์กรเชื่อว่าปัญหาคุณภาพข้อมูลส่งผลต่อความเชื่อมั่นของลูกค้า?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
ทำไมข้อมูลจึงหายไป?
- ค่าสูญหายระหว่างกระบวนการเก็บข้อมูล
- เซ็นเซอร์วัดสภาพอากาศขัดข้องระหว่างการวิเคราะห์
- ข้อมูลผู้ป่วยไม่ครบสำหรับการวินิจฉัยทางการแพทย์ เป็นต้น
- ค่าถูกลบโดยไม่ตั้งใจ
- ข้อมูลสูญหาย
- ลบผิดพลาดเนื่องจากความผิดพลาดของมนุษย์
สิ่งที่จะได้เรียนในคอร์สนี้
- ความสำคัญของการจัดการค่าที่หายไป
- การตรวจหาค่าที่หายไปในข้อมูล
- การวิเคราะห์ประเภทของการสูญหาย
- การจัดการค่าที่หายไปอย่างเหมาะสมสำหรับ
- ค่าตัวเลข
- อนุกรมเวลา
- ค่าเชิงหมวดหมู่
สิ่งที่จะได้เรียนในคอร์สนี้
- การแทนค่า (impute) ที่หายไปด้วยเทคนิคพื้นฐาน
- การแทนค่าด้วยเทคนิคขั้นสูง
- การประเมินและเลือกวิธีที่ดีที่สุดในการจัดการค่าที่หายไป
ขั้นตอนการจัดการค่าที่หายไป
- แปลงค่าที่หายไปทั้งหมดให้เป็นค่า null
- วิเคราะห์ปริมาณและประเภทของการสูญหายในข้อมูล
- ลบหรือแทนค่าที่หายไปอย่างเหมาะสม
- ประเมินและเปรียบเทียบประสิทธิภาพของชุดข้อมูลที่ผ่านการจัดการแล้ว
การดำเนินการกับค่า NULL
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
การดำเนินการกับค่า NULL
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
มาฝึกกันเถอะ!
การจัดการข้อมูลที่หายไปใน Python
