Suppression des caractéristiques redondantes

Prétraitement pour le Machine Learning en Python

James Chapman

Curriculum Manager, DataCamp

Caractéristiques redondantes

  • Retirer les caractéristiques bruitées
  • Retirer les caractéristiques corrélées
  • Retirer les caractéristiques dupliquées
Prétraitement pour le Machine Learning en Python

Scénarios pour une suppression manuelle

ville état lat long
hico tx 31.982778 -98.033333
mackinaw city mi 45.783889 -84.727778
winchester ky 37.990000 -84.179722
Prétraitement pour le Machine Learning en Python

Caractéristiques corrélées

  • Corrélées statistiquement : les caractéristiques évoluent ensemble
  • Les modèles linéaires supposent l'indépendance des caractéristiques
  • Coefficient de corrélation de Pearson
Prétraitement pour le Machine Learning en Python

Caractéristiques corrélées

print(df)

        A     B     C
0    3.06  3.92  1.04
1    2.76  3.40  1.05
2    3.24  3.17  1.03
...

print(df.corr())

          A         B         C
A  1.000000  0.787194  0.543479
B  0.787194  1.000000  0.565468
C  0.543479  0.565468  1.000000
Prétraitement pour le Machine Learning en Python

Passons à la pratique !

Prétraitement pour le Machine Learning en Python

Preparing Video For Download...