Regressione: selezione delle feature

Esercitarsi con le domande di colloquio di Machine Learning in Python

Lisa Stuart

Data Scientist

Selezionare le feature giuste:

  • Riduce l’overfitting
  • Migliora l’accuratezza
  • Aumenta l’interpretabilità
  • Riduce il tempo di training

Fasi della selezione delle feature

1 https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/
Esercitarsi con le domande di colloquio di Machine Learning in Python

Metodi di selezione delle feature

  • Filter: classifica le feature in base alle statistiche
  • Wrapper: usa un metodo ML per valutare le prestazioni
  • Embedded: training iterativo per estrarre feature
  • Feature importance: modelli ML basati su alberi
Esercitarsi con le domande di colloquio di Machine Learning in Python

Confronto tra metodi

Metodo Usa un modello ML Seleziona il sottoinsieme migliore Può overfittare
Filter No No No
Wrapper Sì Sì A volte
Embedded Sì Sì Sì
Feature importance Sì Sì Sì
Esercitarsi con le domande di colloquio di Machine Learning in Python

Test statistici del coefficiente di correlazione

Feature/Risposta Continua Categorica
Continua Correlazione di Pearson LDA
Categorica ANOVA Chi-quadro
Esercitarsi con le domande di colloquio di Machine Learning in Python

Funzioni filtro

Funzione restituisce
df.corr() matrice di correlazione di Pearson
sns.heatmap(corr_object) heatmap
abs() valore assoluto
Esercitarsi con le domande di colloquio di Machine Learning in Python

Metodi wrapper

  1. Selezione forward (LARS—least angle regression)
    • Parte senza feature, ne aggiunge una alla volta
  2. Eliminazione backward
    • Parte con tutte le feature, ne elimina una alla volta
  3. Combinazione forward/backward (eliminazione bidirezionale)
  4. Eliminazione ricorsiva delle feature
    • RFECV
Esercitarsi con le domande di colloquio di Machine Learning in Python

Metodi embedded

  1. Regressione Lasso
  2. Regressione Ridge
  3. ElasticNet

Lasso, Ridge, and ElasticNet

Esercitarsi con le domande di colloquio di Machine Learning in Python

Importanza feature basata su alberi

  • Random Forest --> sklearn.ensemble.RandomForestRegressor
  • Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
  • Dopo il fit del modello --> tree_mod.feature_importances_
Esercitarsi con le domande di colloquio di Machine Learning in Python
Funzione restituisce
sklearn.svm.SVR stimatore di regressione a vettori di supporto
sklearn.feature_selection.RFECV eliminazione ricorsiva con cross-val
rfe_mod.support_ array booleano delle feature selezionate
ref_mod.ranking_ ranking feature, selezionate=1
sklearn.linear_model.LinearRegression stimatore di regressione lineare
sklearn.linear_model.LarsCV least angle regression con cross-val
LarsCV.score R-quadro
LarsCV.alpha_ parametro di regolarizzazione stimato
Esercitarsi con le domande di colloquio di Machine Learning in Python

Ayo berlatih!

Esercitarsi con le domande di colloquio di Machine Learning in Python

Preparing Video For Download...