Regresja: selekcja cech

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie

Lisa Stuart

Data Scientist

Wybór właściwych cech:

• Redukuje przeuczenie
• Poprawia dokładność
• Zwiększa interpretowalność
• Skraca czas trenowania

¹ https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/

Metody selekcji cech

• Filtrowanie: ranking cech na podstawie wyników statystycznych
• Otoczkowe: ocena wydajności za pomocą metody ML
• Osadzone: iteracyjne trenowanie modelu w celu ekstrakcji cech
• Ważność cech: drzewiaste modele ML

Porównanie metod

Metoda	Używa modelu ML	Wybiera najlepszy podzbiór	Może się przeuczyć
Filtrowanie	Nie	Nie	Nie
Otoczkowe	Tak	Tak	Czasem
Osadzone	Tak	Tak	Tak
Ważność cech	Tak	Tak	Tak

Testy statystyczne współczynnika korelacji

Cecha/Odpowiedź	Ciągła	Kategoryczna
Ciągła	Korelacja Pearsona	LDA
Kategoryczna	ANOVA	Chi-kwadrat

Funkcje filtrujące

Funkcja	zwraca
df.corr()	macierz korelacji Pearsona
sns.heatmap(corr_object)	wykres mapy ciepła
abs()	wartość bezwzględna

Metody otoczkowe

1. Selekcja progresywna (LARS – regresja najmniejszego kąta)
   • Zaczyna bez cech, dodaje je po jednej
2. Eliminacja wsteczna
   • Zaczyna od wszystkich cech, eliminuje je po jednej
3. Kombinacja selekcji progresywnej i eliminacji wstecznej (eliminacja dwukierunkowa)
4. Rekurencyjna eliminacja cech
   • RFECV

Metody osadzone

1. Regresja Lasso
2. Regresja Ridge
3. ElasticNet

Metody ważności cech oparte na drzewach

• Random Forest --> sklearn.ensemble.RandomForestRegressor
• Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
• Po dopasowaniu modelu --> tree_mod.feature_importances_

Funkcja	zwraca
sklearn.svm.SVR	estymator regresji wektorów nośnych
sklearn.feature_selection.RFECV	rekurencyjna eliminacja cech z walidacją krzyżową
rfe_mod.support_	tablica logiczna wybranych cech
ref_mod.ranking_	ranking cech; wybrane=1
sklearn.linear_model.LinearRegression	estymator modelu liniowego
sklearn.linear_model.LarsCV	regresja najmniejszego kąta z walidacją krzyżową
LarsCV.score	wynik R-kwadrat
LarsCV.alpha_	szacowany parametr regularyzacji

Czas na ćwiczenia!

Ćwiczenie pytań rekrutacyjnych z uczenia maszynowego w Pythonie