이상값 처리

Python 중급 예측 분석

Nele Verbiest

Senior Data Scientist @PythonPredictions

예측 모델에 대한 이상값의 영향

이상값의 원인

인적 오류
측정 오류
실제 극단값
...

윈저화 개념

Python에서 윈저화 적용

from scipy.stats.mstats import winsorize
basetable["variable_winsorized"] = 
     winsorize(
       basetable["variable"], 
       limits = [0.05,0.01])

표준편차 방법 개념

Python에서 표준편차 방법 적용

mean_age = basetable["age"].mean()
sd_age = basetable["age"].std()
lower_limit = mean_age - 3*sd_age
upper_limit = mean_age + 3*sd_age
basetable["age_no_outliers"] = pd.Series(
                                    [min(max(a,lower_limit), upper_limit) 
                                     for a in basetable["age"]]
                                )

연습해 봅시다!

Python 중급 예측 분석

Preparing Video For Download...