Regresyon: özellik seçimi

Python ile Machine Learning Mülakat Sorularını Pratik Etme

Lisa Stuart

Data Scientist

Doğru özellikleri seçmek:

• Aşırı uyumu azaltır
• Doğruluğu artırır
• Yorumlanabilirliği artırır
• Eğitim süresini kısaltır

¹ https://www.analyticsindiamag.com/what-are-feature-selection-techniques-in-machine-learning/

Özellik seçimi yöntemleri

• Filtre: Özellikleri istatistiksel başarımına göre sırala
• Sarmalayıcı: Başarımı değerlendirmek için bir ML yöntemi kullan
• Gömülü: Özellik çıkarmak için yinelemeli model eğitimi
• Özellik önemi: ağaç tabanlı ML modelleri

Yöntemleri karşılaştır

Yöntem	Bir ML modeli kullanır	En iyi alt kümeyi seçer	Aşırı uyuma yol açabilir
Filtre	Hayır	Hayır	Hayır
Sarmalayıcı	Evet	Evet	Bazen
Gömülü	Evet	Evet	Evet
Özellik önemi	Evet	Evet	Evet

Korelasyon katsayısı istatistik testleri

Özellik/Tepki	Sürekli	Kategorik
Sürekli	Pearson Korelasyonu	LDA
Kategorik	ANOVA	Ki-Kare

Filtre fonksiyonları

Fonksiyon	döndürür
df.corr()	Pearson korelasyon matrisi
sns.heatmap(corr_object)	ısı haritası grafiği
abs()	mutlak değer

Sarmalayıcı yöntemler

1. İleri seçim (LARS-least angle regression)
   • Özelliksiz başlar, her seferinde bir tane ekler
2. Geri eleme
   • Tüm özelliklerle başlar, her seferinde birini eler
3. İleri seçim/geri eleme birleşimi (çift yönlü eleme)
4. Özyinelemeli özellik eleme
   • RFECV

Gömülü yöntemler

1. Lasso Regresyon
2. Ridge Regresyon
3. ElasticNet

Ağaç tabanlı özellik önemi yöntemleri

• Random Forest --> sklearn.ensemble.RandomForestRegressor
• Extra Trees --> sklearn.ensemble.ExtraTreesRegressor
• Model uydurulduktan sonra --> tree_mod.feature_importances_

Fonksiyon	döndürür
sklearn.svm.SVR	support vector regression kestiricisi
sklearn.feature_selection.RFECV	çapraz doğrulamalı özyinelemeli özellik eleme
rfe_mod.support_	seçilen özelliklerin boolean dizisi
ref_mod.ranking_	özellik sıralaması, seçilen=1
sklearn.linear_model.LinearRegression	doğrusal model kestiricisi
sklearn.linear_model.LarsCV	çapraz doğrulamalı least angle regression
LarsCV.score	r-kare skoru
LarsCV.alpha_	tahmini düzenleme parametresi

Hadi pratik yapalım!

Python ile Machine Learning Mülakat Sorularını Pratik Etme