Eliminarea caracteristicilor puternic corelate

Reducerea dimensionalității în Python

Jeroen Boeye

Head of Machine Learning, Faktion

Date puternic corelate

pairplot cu corelații ridicate

Reducerea dimensionalității în Python

Caracteristici puternic corelate

matrice de corelații ridicate

Reducerea dimensionalității în Python

Eliminarea caracteristicilor puternic corelate

# Create positive correlation matrix
corr_df = chest_df.corr().abs()

# Create and apply mask
mask = np.triu(np.ones_like(corr_df, dtype=bool))

tri_df = corr_df.mask(mask)

tri_df

Reducerea dimensionalității în Python

Eliminarea caracteristicilor puternic corelate

# Find columns that meet threshold 
to_drop = [c for c in tri_df.columns if any(tri_df[c] > 0.95)]

print(to_drop)

['Suprasternale height', 'Cervicale height']

# Drop those columns
reduced_df = chest_df.drop(to_drop, axis=1)
Reducerea dimensionalității în Python

Selecția caracteristicilor

Schema de selecție a caracteristicilor

Extracția caracteristicilor

Schema de extracție a caracteristicilor

Reducerea dimensionalității în Python

Limitele corelației - Cuarteta lui Anscombe

Cuarteta lui Anscombe

Reducerea dimensionalității în Python

Limitele corelației - cauzalitatea

sns.scatterplot(x="N firetrucks sent to fire", 
                y="N wounded by fire",data=fire_df)

camioane de pompieri vs. răniți

Reducerea dimensionalității în Python

Să exersăm!

Reducerea dimensionalității în Python

Preparing Video For Download...