Regresi: seleksi fitur

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Lisa Stuart

Data Scientist

Memilih fitur yang tepat:

  • Mengurangi overfitting
  • Meningkatkan akurasi
  • Meningkatkan interpretabilitas
  • Mempercepat waktu pelatihan

Langkah Seleksi Fitur

1 https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Metode seleksi fitur

  • Filter: Peringkat fitur berdasarkan performa statistik
  • Wrapper: Gunakan metode ML untuk evaluasi performa
  • Embedded: Pelatihan model iteratif untuk mengekstrak fitur
  • Feature importance: model ML berbasis pohon
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Bandingkan metode

Metode Gunakan model ML Pilih subset terbaik Bisa overfit
Filter Tidak Tidak Tidak
Wrapper Ya Ya Terkadang
Embedded Ya Ya Ya
Feature importance Ya Ya Ya
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Uji statistik koefisien korelasi

Fitur/Respons Kontinu Kategorikal
Kontinu Korelasi Pearson LDA
Kategorikal ANOVA Chi-Square
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi filter

Fungsi mengembalikan
df.corr() matriks korelasi Pearson
sns.heatmap(corr_object) plot heatmap
abs() nilai absolut
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Metode wrapper

  1. Forward selection (LARS-least angle regression)
    • Mulai tanpa fitur, tambah satu per satu
  2. Backward elimination
    • Mulai dengan semua fitur, hapus satu per satu
  3. Kombinasi forward/backward (eliminasi dua arah)
  4. Recursive feature elimination
    • RFECV
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Metode embedded

  1. Regresi Lasso
  2. Regresi Ridge
  3. ElasticNet

Lasso, Ridge, dan ElasticNet

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Metode importance berbasis pohon

  • Random Forest --> sklearn.ensemble.RandomForestRegressor
  • Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
  • Setelah model fit --> tree_mod.feature_importances_
Berlatih Pertanyaan Wawancara Machine Learning dengan Python
Fungsi mengembalikan
sklearn.svm.SVR estimator support vector regression
sklearn.feature_selection.RFECV eliminasi fitur rekursif dgn cross-val
rfe_mod.support_ array boolean fitur terpilih
ref_mod.ranking_ peringkat fitur, terpilih=1
sklearn.linear_model.LinearRegression estimator model linear
sklearn.linear_model.LarsCV least angle regression dgn cross-val
LarsCV.score skor r-kuadrat
LarsCV.alpha_ parameter regularisasi terestimasi
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Ayo berlatih!

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Preparing Video For Download...