Regresie: selecția caracteristicilor

Exersează întrebări de interviu pentru Machine Learning în Python

Lisa Stuart

Data Scientist

Selectarea caracteristicilor potrivite:

  • Reduce supraadaptarea
  • Îmbunătățește acuratețea
  • Crește interpretabilitatea
  • Reduce timpul de antrenare

Pașii selecției caracteristicilor

1 https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/
Exersează întrebări de interviu pentru Machine Learning în Python

Metode de selecție a caracteristicilor

  • Filtrare: clasifică caracteristicile după performanța statistică
  • Wrapper: folosește un model ML pentru evaluarea performanței
  • Embedded: antrenare iterativă a modelului pentru extragerea caracteristicilor
  • Importanța caracteristicilor: modele ML bazate pe arbori
Exersează întrebări de interviu pentru Machine Learning în Python

Compararea metodelor

Metodă Folosește un model ML Selectează cel mai bun subset Poate supraadapta
Filtrare Nu Nu Nu
Wrapper Da Da Uneori
Embedded Da Da Da
Importanța caracteristicilor Da Da Da
Exersează întrebări de interviu pentru Machine Learning în Python

Teste statistice ale coeficientului de corelație

Caracteristică/Răspuns Continuu Categorial
Continuu Corelația Pearson LDA
Categorial ANOVA Chi-pătrat
Exersează întrebări de interviu pentru Machine Learning în Python

Funcții de filtrare

Funcție returnează
df.corr() matricea de corelație Pearson
sns.heatmap(corr_object) grafic heatmap
abs() valoare absolută
Exersează întrebări de interviu pentru Machine Learning în Python

Metode wrapper

  1. Selecție înainte (LARS - regresia cu unghi minim)
    • Începe fără caracteristici, adaugă câte una
  2. Eliminare înapoi
    • Începe cu toate caracteristicile, elimină câte una
  3. Combinație selecție înainte/eliminare înapoi (eliminare bidirecțională)
  4. Eliminare recursivă a caracteristicilor
    • RFECV
Exersează întrebări de interviu pentru Machine Learning în Python

Metode embedded

  1. Regresia Lasso
  2. Regresia Ridge
  3. ElasticNet

Lasso, Ridge și ElasticNet

Exersează întrebări de interviu pentru Machine Learning în Python

Metode de importanță a caracteristicilor bazate pe arbori

  • Random Forest --> sklearn.ensemble.RandomForestRegressor
  • Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
  • După antrenarea modelului --> tree_mod.feature_importances_
Exersează întrebări de interviu pentru Machine Learning în Python
Funcție returnează
sklearn.svm.SVR estimator pentru regresia cu vectori suport
sklearn.feature_selection.RFECV eliminare recursivă a caracteristicilor cu validare încrucișată
rfe_mod.support_ array boolean al caracteristicilor selectate
ref_mod.ranking_ clasificarea caracteristicilor, selectat=1
sklearn.linear_model.LinearRegression estimator model liniar
sklearn.linear_model.LarsCV regresie cu unghi minim cu validare încrucișată
LarsCV.score scor R-pătrat
LarsCV.alpha_ parametru de regularizare estimat
Exersează întrebări de interviu pentru Machine Learning în Python

Să exersăm!

Exersează întrebări de interviu pentru Machine Learning în Python

Preparing Video For Download...