결측치를 다루는 이유
Python에서 결측치 다루기
Suraj Donthi
Deep Learning & Computer Vision Consultant
왜 결측치가 생길까?
- 현실 세계의 데이터는 지저분합니다
조직의 72%가 데이터 품질 문제가 고객 신뢰와 인식에 악영향을 준다고 믿습니다. 알고 계셨나요?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
왜 결측치가 생길까?
- 수집 과정에서 누락
- 기상 분석 중 센서 고장
- 진단용 환자 정보 미입력 등
- 값이 실수로 삭제됨
- 데이터 손실
- 사람 실수로 삭제
이 강의에서 배우는 것
- 결측값 처리의 중요성
- 지저분한 데이터에서 결측값 탐지
- 결측 유형 분석
- 적절한 처리 방법 학습:
- 수치형
- 시계열
- 범주형
이 강의에서 배우는 것
- 단순 기법으로 결측 대체
- 고급 기법으로 대체
- 최적의 처리 방법 평가
결측값 처리 워크플로
- 모든 결측값을 null 값으로 변환합니다.
- 결측의 규모와 유형을 분석합니다.
- 적절히 삭제하거나 대체(임putation)합니다.
- 처리/대체한 데이터셋의 성능을 평가·비교합니다.
NULL 값 연산
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
NULL 값 연산
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
연습해 봅시다!
Python에서 결측치 다루기
