Rimuovere feature altamente correlate

Riduzione della dimensionalità in Python

Jeroen Boeye

Head of Machine Learning, Faktion

Dati altamente correlati

pairplot altamente correlato

Feature altamente correlate

matrice altamente correlata

Rimuovere feature altamente correlate

# Create positive correlation matrix
corr_df = chest_df.corr().abs()

# Create and apply mask
mask = np.triu(np.ones_like(corr_df, dtype=bool))

tri_df = corr_df.mask(mask)

tri_df

Rimuovere feature altamente correlate

# Find columns that meet threshold 
to_drop = [c for c in tri_df.columns if any(tri_df[c] > 0.95)]

print(to_drop)

['Suprasternale height', 'Cervicale height']

# Drop those columns
reduced_df = chest_df.drop(to_drop, axis=1)

Selezione delle feature

Schema di selezione delle feature

Estrazione delle feature

Schema di estrazione delle feature

Avvertenze sulla correlazione - quartetto di Anscombe

quartetto di Anscombe

Avvertenze sulla correlazione - causalità

sns.scatterplot(x="N firetrucks sent to fire", 
                y="N wounded by fire",data=fire_df)

autopompe vs. feriti

Esercitiamoci!

Riduzione della dimensionalità in Python