移除离群值

Python 中的机器学习特征工程

Robert O'Callaghan

Director of Data Science, Ordergroove

什么是离群值?

分布图像

Python 中的机器学习特征工程

基于分位数的检测

Python 中的机器学习特征工程

Python 中的分位数

q_cutoff = df['col_name'].quantile(0.95)

mask = df['col_name'] < q_cutoff

trimmed_df = df[mask]
Python 中的机器学习特征工程

基于标准差的检测

Python 中的机器学习特征工程

Python 中的标准差检测

mean = df['col_name'].mean()
std = df['col_name'].std()

cut_off = std * 3 lower, upper = mean - cut_off, mean + cut_off
new_df = df[(df['col_name'] < upper) & (df['col_name'] > lower)]
Python 中的机器学习特征工程

¡Vamos a practicar!

Python 中的机器学习特征工程

Preparing Video For Download...