누락값은 왜 발생할까요?

Python으로 배우는 Machine Learning 특성 공학

Robert O'Callaghan

Director of Data Science, Ordergroove

데이터 공백은 어떻게 생기나

데이터가 제대로 수집되지 않음
수집·관리 과정의 오류
의도적으로 누락시킴
데이터 변환 과정에서 생성됨

왜 중요할까요?

일부 모델은 누락값(Null/NaN)을 처리하지 못함
누락값은 더 큰 데이터 이슈의 신호일 수 있음
누락 자체가 유용한 특성일 수 있음

누락값 탐색

print(df.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 999 entries, 0 to 998
Data columns (total 12 columns):
 #   Column                      Non-Null Count  Dtype  
 --  ------                      --------------  -----  
 0   SurveyDate                  999 non-null    object 
...  ...                         ...             ...
 8   StackOverflowJobsRecommend  487 non-null    float64
 9   VersionControl              999 non-null    object 
 10  Gender                      693 non-null    object 
 11  RawSalary                   665 non-null    object 
dtypes: float64(2), int64(2), object(8)
memory usage: 93.7+ KB

누락값 찾기

print(df.isnull())

   StackOverflowJobsRecommend  VersionControl  ... \ 
0                        True           False  ...
1                       False           False  ...
2                       False           False  ...
3                        True           False  ...
4                       False           False  ...

   Gender  RawSalary
0   False       True
1   False      False
2    True       True
3   False      False
4   False      False

누락값 찾기

print(df['StackOverflowJobsRecommend'].isnull().sum())

누락 아님 값 찾기

print(df.notnull())

   StackOverflowJobsRecommend  VersionControl  ... \
0                       False            True  ...
1                        True            True  ...
2                        True            True  ...
3                       False            True  ...
4                        True            True  ...

   Gender  RawSalary
0    True      False
1    True       True
2   False      False
3    True       True
4    True       True

이제 누락값을 찾아보세요!

Python으로 배우는 Machine Learning 특성 공학