Suppression des variables fortement corrélées

Réduction de dimension en Python

Jeroen Boeye

Head of Machine Learning, Faktion

Données fortement corrélées

pairplot fortement corrélé

Variables fortement corrélées

matrice fortement corrélée

Suppression des variables fortement corrélées

# Create positive correlation matrix
corr_df = chest_df.corr().abs()

# Create and apply mask
mask = np.triu(np.ones_like(corr_df, dtype=bool))

tri_df = corr_df.mask(mask)

tri_df

Suppression des variables fortement corrélées

# Find columns that meet threshold 
to_drop = [c for c in tri_df.columns if any(tri_df[c] > 0.95)]

print(to_drop)

['Suprasternale height', 'Cervicale height']

# Drop those columns
reduced_df = chest_df.drop(to_drop, axis=1)

Sélection de variables

Schéma de sélection de variables

Extraction de variables

Schéma d'extraction de variables

Mises en garde sur la corrélation – quatuor d'Anscombe

Le quatuor d'Anscombe

Mises en garde sur la corrélation – causalité

sns.scatterplot(x="N firetrucks sent to fire", 
                y="N wounded by fire",data=fire_df)

camions de pompiers vs. blessés

Passons à la pratique !

Réduction de dimension en Python