Gestire i valori anomali

Analisi predittiva intermedia in Python

Nele Verbiest

Senior Data Scientist @PythonPredictions

Impatto dei valori anomali sui modelli predittivi

Cause dei valori anomali

Errori umani
Errori di misurazione
Valori davvero estremi
...

Concetto di winsorization

Winsorization in Python

from scipy.stats.mstats import winsorize
basetable["variable_winsorized"] = 
     winsorize(
       basetable["variable"], 
       limits = [0.05,0.01])

Concetto del metodo della deviazione standard

Metodo della deviazione standard in Python

mean_age = basetable["age"].mean()
sd_age = basetable["age"].std()
lower_limit = mean_age - 3*sd_age
upper_limit = mean_age + 3*sd_age
basetable["age_no_outliers"] = pd.Series(
                                    [min(max(a,lower_limit), upper_limit) 
                                     for a in basetable["age"]]
                                )

Esercitiamoci!

Analisi predittiva intermedia in Python

Preparing Video For Download...