결측치 규모 분석

Python에서 결측치 다루기

Suraj Donthi

Deep Learning & Computer Vision Consultant

Air Quality 데이터셋 불러오기

Air Quality 데이터셋

Ozone, Solar, Temperature, Wind 센서 기록 포함

df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56

결측 여부 DataFrame

DataFrame에 .isnull() 또는 .isna() 사용

airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False

결측값 총계

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64

결측 비율(%)

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64

결측 바 차트

Missingno 패키지

결측값을 그래프로 분석하는 패키지

import missingno as msno

msno.bar(airquality)

대기질 데이터셋의 결측 바 차트

결측 행렬

msno.matrix(airquality)

대기질 데이터셋의 결측 행렬

결측 행렬

msno.matrix(airquality)

대기질 데이터셋의 결측 행렬

결측 행렬

msno.matrix(airquality)

대기질 데이터셋의 결측 행렬

결측 행렬

msno.matrix(airquality)

대기질 데이터셋의 결측 행렬

시계열용 결측 행렬

msno.matrix(airquality, freq='M')

대기질 데이터셋의 월별 결측 행렬

시계열용 결측 행렬

msno.matrix(airquality, freq='M')

대기질 데이터셋의 월별 결측 행렬

행렬 미세 조정

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

대기질 데이터셋의 월별 결측 행렬

요약

이번 레슨에서 학습한 내용

결측치 수치 분석
결측치 시각적 분석
결측 비율 계산
일반 데이터셋의 결측 행렬
시계열 데이터셋의 결측 행렬

연습해 봅시다!

Python에서 결측치 다루기