วิเคราะห์ปริมาณข้อมูลที่ขาดหาย

การจัดการข้อมูลที่หายไปใน Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

โหลดชุดข้อมูลคุณภาพอากาศ

ชุดข้อมูลคุณภาพอากาศ

บันทึกค่าจากเซนเซอร์ของ Ozone, Solar, Temperature และ Wind

df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56

Nullity DataFrame

ใช้เมธอด .isnull() หรือ .isna() กับ DataFrame

airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False

จำนวนค่าที่ขาดหายทั้งหมด

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64

เปอร์เซ็นต์ของข้อมูลที่ขาดหาย

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64

Nullity Bar

แพ็กเกจ Missingno

แพ็กเกจสำหรับวิเคราะห์ค่าที่ขาดหายในเชิงกราฟิก

import missingno as msno

msno.bar(airquality)

แผนภูมิแท่งแสดงข้อมูลที่ขาดหายของชุดข้อมูลคุณภาพอากาศ

Nullity Matrix

msno.matrix(airquality)

เมทริกซ์แสดงข้อมูลที่ขาดหายของชุดข้อมูลคุณภาพอากาศ

Nullity Matrix

msno.matrix(airquality)

เมทริกซ์แสดงข้อมูลที่ขาดหายของชุดข้อมูลคุณภาพอากาศ

Nullity Matrix

msno.matrix(airquality)

เมทริกซ์แสดงข้อมูลที่ขาดหายของชุดข้อมูลคุณภาพอากาศ

Nullity Matrix

msno.matrix(airquality)

เมทริกซ์แสดงข้อมูลที่ขาดหายของชุดข้อมูลคุณภาพอากาศ

Nullity Matrix สำหรับข้อมูลอนุกรมเวลา

msno.matrix(airquality, freq='M')

เมทริกซ์แสดงข้อมูลที่ขาดหายรายเดือนของชุดข้อมูลคุณภาพอากาศ

Nullity Matrix สำหรับข้อมูลอนุกรมเวลา

msno.matrix(airquality, freq='M')

เมทริกซ์แสดงข้อมูลที่ขาดหายรายเดือนของชุดข้อมูลคุณภาพอากาศ

ปรับแต่งเมทริกซ์

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

เมทริกซ์แสดงข้อมูลที่ขาดหายรายเดือนของชุดข้อมูลคุณภาพอากาศ

สรุป

บทเรียนนี้ครอบคลุมการวิเคราะห์

ปริมาณข้อมูลที่ขาดหายในเชิงตัวเลข
ปริมาณข้อมูลที่ขาดหายในเชิงกราฟิก
เปอร์เซ็นต์ของข้อมูลที่ขาดหาย
Nullity Matrix สำหรับชุดข้อมูลทั่วไป
Nullity Matrix สำหรับข้อมูลอนุกรมเวลา

มาฝึกกันเถอะ!

การจัดการข้อมูลที่หายไปใน Python