Regresyon: düzenlileştirme

Python ile Machine Learning Mülakat Sorularını Pratik Etme

Lisa Stuart

Data Scientist

Düzenlileştirme algoritmaları

Ridge regresyonu
Lasso regresyonu
ElasticNet regresyonu

En küçük kareler (OLS)

OLS Grafiği

OLS Formülü

¹ https://en.wikipedia.org/wiki/Linear_regression#Simple_and_multiple_linear_regression

Ridge kayıp fonksiyonu

Ridge regresyon grafiği

Ridge regresyon formülü

¹ https://gerardnico.com/data_mining/ridge_regression#tuning_parameter_math_lambdamath

Lasso kayıp fonksiyonu

Lasso regresyon grafiği

Lasso regresyon formülü

¹ https://stats.stackexchange.com/questions/155192/why-discrepancy-between-lasso-and-randomforest

Ridge vs lasso

Düzenlileştirme	L1 (Lasso)	L2 (Ridge)
cezalandırır	katsayıların mutlak değerlerinin toplamı	katsayıların karelerinin toplamı
çözümler	seyrek	seyrek değil
çözüm sayısı	birden çok	tek
özellik seçimi	evet	hayır
aykırı değerlere dayanıklı mı?	evet	hayır
karmaşık örüntüler?	hayır	evet

ElasticNet

ElasticNet formülü

Boston konut verisiyle düzenlileştirme

Özellikler	CHAS	NOX	RM
Katsayı tahminleri	2.7	-17.8	3.8
Düzenlileştirilmiş katsayı tahminleri	0	0	0.95

Düzenlileştirme işlevleri

# Lasso kestiricisi 
sklearn.linear_model.Lasso

# Çapraz doğrulamalı Lasso kestiricisi
sklearn.linear_model.LassoCV

# Ridge kestiricisi
sklearn.linear_model.Ridge

# Çapraz doğrulamalı Ridge kestiricisi
sklearn.linear_model.RidgeCV

# ElasticNet kestiricisi
sklearn.linear_model.ElasticNet

# Çapraz doğrulamalı ElasticNet kestiricisi
sklearn.linear_model.ElasticNetCV

# Eğitim/test bölme
sklearn.model_selection.train_test_split

# Ortalama kare hata
sklearn.metrics.mean_squared_error(y_test, 
                           predict(X_test))
# En iyi düzenlileştirme parametresi
mod_cv.alpha_

# Log değerlerinin dizisi
alphas=np.logspace(-6, 6, 13)

Hadi pratik yapalım!

Python ile Machine Learning Mülakat Sorularını Pratik Etme