Removendo features altamente correlacionadas

Redução de Dimensionalidade em Python

Jeroen Boeye

Head of Machine Learning, Faktion

Dados altamente correlacionados

pairplot altamente correlacionado

Redução de Dimensionalidade em Python

Features altamente correlacionadas

matriz altamente correlacionada

Redução de Dimensionalidade em Python

Removendo features altamente correlacionadas

# Create positive correlation matrix
corr_df = chest_df.corr().abs()

# Create and apply mask
mask = np.triu(np.ones_like(corr_df, dtype=bool))

tri_df = corr_df.mask(mask)

tri_df

Redução de Dimensionalidade em Python

Removendo features altamente correlacionadas

# Find columns that meet threshold 
to_drop = [c for c in tri_df.columns if any(tri_df[c] > 0.95)]

print(to_drop)

['Suprasternale height', 'Cervicale height']

# Drop those columns
reduced_df = chest_df.drop(to_drop, axis=1)
Redução de Dimensionalidade em Python

Seleção de features

Esquema de seleção de features

Extração de features

Esquema de extração de features

Redução de Dimensionalidade em Python

Cuidados com correlação — quarteto de Anscombe

Quarteto de Anscombe

Redução de Dimensionalidade em Python

Cuidados com correlação — causalidade

sns.scatterplot(x="N firetrucks sent to fire", 
                y="N wounded by fire",data=fire_df)

caminhões de bombeiros vs. feridos

Redução de Dimensionalidade em Python

Vamos praticar!

Redução de Dimensionalidade em Python

Preparing Video For Download...