การจัดการค่าผิดปกติ

Predictive Analytics ระดับกลางด้วย Python

Nele Verbiest

Senior Data Scientist @PythonPredictions

อิทธิพลของค่าผิดปกติต่อโมเดลพยากรณ์

Predictive Analytics ระดับกลางด้วย Python

สาเหตุของค่าผิดปกติ

  • ความผิดพลาดจากมนุษย์
  • ความผิดพลาดในการวัด
  • ค่าที่สูงหรือต่ำผิดปกติจริง
  • ...
Predictive Analytics ระดับกลางด้วย Python

แนวคิด Winsorization

Predictive Analytics ระดับกลางด้วย Python

Winsorization ใน Python

from scipy.stats.mstats import winsorize
basetable["variable_winsorized"] = 
     winsorize(
       basetable["variable"], 
       limits = [0.05,0.01])
Predictive Analytics ระดับกลางด้วย Python

แนวคิดวิธีส่วนเบี่ยงเบนมาตรฐาน

Predictive Analytics ระดับกลางด้วย Python

วิธีส่วนเบี่ยงเบนมาตรฐานใน Python

mean_age = basetable["age"].mean()
sd_age = basetable["age"].std()
lower_limit = mean_age - 3*sd_age
upper_limit = mean_age + 3*sd_age
basetable["age_no_outliers"] = pd.Series(
                                    [min(max(a,lower_limit), upper_limit) 
                                     for a in basetable["age"]]
                                )
Predictive Analytics ระดับกลางด้วย Python

มาฝึกกันเถอะ!

Predictive Analytics ระดับกลางด้วย Python

Preparing Video For Download...