Retirer les caractéristiques très corrélées

Réduction de dimensionnalité en Python

Jeroen Boeye

Head of Machine Learning, Faktion

Données très corrélées

nuage de paires très corrélées

Réduction de dimensionnalité en Python

Caractéristiques très corrélées

matrice très corrélée

Réduction de dimensionnalité en Python

Retirer les caractéristiques très corrélées

# Create positive correlation matrix
corr_df = chest_df.corr().abs()

# Create and apply mask
mask = np.triu(np.ones_like(corr_df, dtype=bool))

tri_df = corr_df.mask(mask)

tri_df

Réduction de dimensionnalité en Python

Retirer les caractéristiques très corrélées

# Find columns that meet threshold 
to_drop = [c for c in tri_df.columns if any(tri_df[c] > 0.95)]

print(to_drop)

['Suprasternale height', 'Cervicale height']

# Drop those columns
reduced_df = chest_df.drop(to_drop, axis=1)
Réduction de dimensionnalité en Python

Sélection de caractéristiques

schéma de sélection de caractéristiques

Extraction de caractéristiques

schéma d'extraction de caractéristiques

Réduction de dimensionnalité en Python

Mises en garde sur la corrélation – quatuor d'Anscombe

quatuor d'Anscombe

Réduction de dimensionnalité en Python

Mises en garde sur la corrélation – causalité

sns.scatterplot(x="N firetrucks sent to fire", 
                y="N wounded by fire",data=fire_df)

camions de pompiers vs. blessés

Réduction de dimensionnalité en Python

Passons à la pratique !

Réduction de dimensionnalité en Python

Preparing Video For Download...