이상치 제거

Python으로 배우는 Machine Learning 특성 공학

Robert O'Callaghan

Director of Data Science, Ordergroove

이상치란?

분포 이미지

Python으로 배우는 Machine Learning 특성 공학

분위수 기반 탐지

Python으로 배우는 Machine Learning 특성 공학

Python의 분위수

q_cutoff = df['col_name'].quantile(0.95)

mask = df['col_name'] < q_cutoff

trimmed_df = df[mask]
Python으로 배우는 Machine Learning 특성 공학

표준편차 기반 탐지

Python으로 배우는 Machine Learning 특성 공학

Python에서의 표준편차 탐지

mean = df['col_name'].mean()
std = df['col_name'].std()

cut_off = std * 3

lower, upper = mean - cut_off, mean + cut_off

new_df = df[(df['col_name'] < upper) & 
                 (df['col_name'] > lower)]
Python으로 배우는 Machine Learning 특성 공학

연습해 봅시다!

Python으로 배우는 Machine Learning 특성 공학

Preparing Video For Download...