Suppression des valeurs aberrantes

Ingénierie des caractéristiques pour le Machine Learning en Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Qu'est-ce qu'une valeur aberrante ?

Image de distribution

Ingénierie des caractéristiques pour le Machine Learning en Python

Détection par quantiles

Ingénierie des caractéristiques pour le Machine Learning en Python

Quantiles en Python

q_cutoff = df['col_name'].quantile(0.95)

mask = df['col_name'] < q_cutoff

trimmed_df = df[mask]
Ingénierie des caractéristiques pour le Machine Learning en Python

Détection par écart-type

Ingénierie des caractéristiques pour le Machine Learning en Python

Détection par écart-type en Python

mean = df['col_name'].mean()
std = df['col_name'].std()

cut_off = std * 3

lower, upper = mean - cut_off, mean + cut_off

new_df = df[(df['col_name'] < upper) & 
                 (df['col_name'] > lower)]
Ingénierie des caractéristiques pour le Machine Learning en Python

Passons à la pratique !

Ingénierie des caractéristiques pour le Machine Learning en Python

Preparing Video For Download...