Phân tích mức độ thiếu dữ liệu

Xử lý Dữ liệu Khuyết trong Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Tải bộ dữ liệu Chất lượng không khí

Bộ dữ liệu Chất lượng không khí

chứa số đo cảm biến của Ozone, Solar, Temperature và Wind

df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56

DataFrame thiếu dữ liệu

Dùng phương thức .isnull() hoặc .isna() trên DataFrame

airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False

Tổng số giá trị thiếu

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64

Phần trăm thiếu dữ liệu

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64

Biểu đồ cột thiếu dữ liệu

Gói Missingno

Gói để phân tích đồ họa giá trị thiếu

import missingno as msno

msno.bar(airquality)

Biểu đồ cột thiếu dữ liệu cho bộ dữ liệu chất lượng không khí

Ma trận thiếu dữ liệu

msno.matrix(airquality)

Ma trận thiếu dữ liệu cho bộ dữ liệu chất lượng không khí

Ma trận thiếu dữ liệu

msno.matrix(airquality)

Ma trận thiếu dữ liệu cho bộ dữ liệu chất lượng không khí

Ma trận thiếu dữ liệu

msno.matrix(airquality)

Ma trận thiếu dữ liệu cho bộ dữ liệu chất lượng không khí

Ma trận thiếu dữ liệu

msno.matrix(airquality)

Ma trận thiếu dữ liệu cho bộ dữ liệu chất lượng không khí

Ma trận thiếu dữ liệu cho chuỗi thời gian

msno.matrix(airquality, freq='M')

Ma trận thiếu dữ liệu theo tháng cho bộ dữ liệu chất lượng không khí

Ma trận thiếu dữ liệu cho chuỗi thời gian

msno.matrix(airquality, freq='M')

Ma trận thiếu dữ liệu theo tháng cho bộ dữ liệu chất lượng không khí

Tinh chỉnh ma trận

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Ma trận thiếu dữ liệu theo tháng cho bộ dữ liệu chất lượng không khí

Tóm tắt

Trong bài này, ta đã phân tích

số lượng thiếu dữ liệu dạng số
số lượng thiếu dữ liệu dạng đồ họa
phần trăm thiếu dữ liệu
ma trận thiếu dữ liệu cho dữ liệu thường
ma trận thiếu dữ liệu cho chuỗi thời gian

Ayo berlatih!

Xử lý Dữ liệu Khuyết trong Python