冗長な特徴量の削除

Pythonで学ぶMachine Learningの前処理

James Chapman

Curriculum Manager, DataCamp

冗長な特徴量

  • ノイズの多い特徴量を削除する
  • 相関する特徴量を削除する
  • 重複した特徴量を削除する
Pythonで学ぶMachine Learningの前処理

手動削除のシナリオ

city state lat long
hico tx 31.982778 -98.033333
mackinaw city mi 45.783889 -84.727778
winchester ky 37.990000 -84.179722
Pythonで学ぶMachine Learningの前処理

相関する特徴量

  • 統計的相関:特徴量が同じ方向に動く
  • 線形モデルは特徴量の独立性を前提とする
  • ピアソンの相関係数
Pythonで学ぶMachine Learningの前処理

相関する特徴量

print(df)
        A     B     C
0    3.06  3.92  1.04
1    2.76  3.40  1.05
2    3.24  3.17  1.03
...
print(df.corr())
          A         B         C
A  1.000000  0.787194  0.543479
B  0.787194  1.000000  0.565468
C  0.543479  0.565468  1.000000
Pythonで学ぶMachine Learningの前処理

練習しましょう!

Pythonで学ぶMachine Learningの前処理

Preparing Video For Download...