Regrese: výběr příznaků

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu

Lisa Stuart

Data Scientist

Výběr správných příznaků:

• Snižuje přeučení
• Zlepšuje přesnost
• Zvyšuje interpretovatelnost
• Zkracuje dobu trénování

¹ https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/

Metody výběru příznaků

• Filtrování: hodnocení příznaků dle statistické výkonnosti
• Obálka: hodnocení výkonnosti pomocí metody ML
• Vložené: iterativní trénování modelu pro extrakci příznaků
• Důležitost příznaků: stromové modely ML

Porovnání metod

Metoda	Používá model ML	Vybírá nejlepší podmnožinu	Může přeučit
Filtrování	Ne	Ne	Ne
Obálka	Ano	Ano	Někdy
Vložená	Ano	Ano	Ano
Důležitost příznaků	Ano	Ano	Ano

Statistické testy korelačního koeficientu

Příznak/Odezva	Spojitá	Kategorická
Spojitá	Pearsonova korelace	LDA
Kategorická	ANOVA	Chi-kvadrát

Funkce pro filtrování

Funkce	Vrací
df.corr()	Pearsonova korelační matice
sns.heatmap(corr_object)	graf heatmapy
abs()	absolutní hodnota

Metody obálky

1. Dopředný výběr (LARS – regrese nejmenšího úhlu)
   • Začíná bez příznaků, přidává je jeden po druhém
2. Zpětná eliminace
   • Začíná se všemi příznaky, odstraňuje je jeden po druhém
3. Kombinace dopředného výběru a zpětné eliminace (obousměrná eliminace)
4. Rekurzivní eliminace příznaků
   • RFECV

Vložené metody

1. Lasso regrese
2. Ridge regrese
3. ElasticNet

Metody důležitosti příznaků na bázi stromů

• Random Forest --> sklearn.ensemble.RandomForestRegressor
• Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
• Po natrénování modelu --> tree_mod.feature_importances_

Funkce	Vrací
sklearn.svm.SVR	estimátor regrese podpůrnými vektory
sklearn.feature_selection.RFECV	rekurzivní eliminace příznaků s křížovou validací
rfe_mod.support_	booleovské pole vybraných příznaků
ref_mod.ranking_	pořadí příznaků, vybrané=1
sklearn.linear_model.LinearRegression	estimátor lineárního modelu
sklearn.linear_model.LarsCV	regrese nejmenšího úhlu s křížovou validací
LarsCV.score	skóre R²
LarsCV.alpha_	odhadovaný regularizační parametr

Pojďme si procvičit!

Procvičování otázek k pohovorům z oblasti Machine Learning v Pythonu