Gradyan artırma

Python'da Ensemble Yöntemleri

Román de las Heras

Data Scientist, Appodeal

Gradyan artırma makinesine giriş

Amaç fonksiyonu

Başlangıç modeli (zayıf tahminleyici): $y\sim f_1(X)$
Yeni model artık (residual)lara uyar: $y-f_1(X)\sim f_2(X)$
Yeni toplayıcı model: $y\sim f_1(X)+f_2(X)$
Hata yeterince küçük olana dek $n$ kez tekrarla
Son toplayıcı model: $$y\sim f_1(X)+f_2(X)+ ... +f_n(x)=\sum_{i=1}^{n} f_i(X)$$

Gradyan inişine eşdeğerlik

Artıklar (residuals)

Gradyan inişi:

Kayıp fonksiyonu

Gradyan

Artıklar = Negatif gradyan

Negatif gradyan

Gradyan artırma sınıflandırıcısı

Gradient Boosting Classifier

from sklearn.ensemble import GradientBoostingClassifier

clf_gbm = GradientBoostingClassifier(
   n_estimators=100,
   learning_rate=0.1,
   max_depth=3,
   min_samples_split,
   min_samples_leaf,
   max_features
)

n_estimators
- Varsayılan: 100
learning_rate
- Varsayılan: 0.1
max_depth
- Varsayılan: 3
min_samples_split
min_samples_leaf
max_features

Gradyan artırma regresörü

Gradient Boosting Regressor

from sklearn.ensemble import GradientBoostingRegressor

reg_gbm = GradientBoostingRegressor(
   n_estimators=100,
   learning_rate=0.1,
   max_depth=3,
   min_samples_split,
   min_samples_leaf,
   max_features
)

Artırma zamanı!

Python'da Ensemble Yöntemleri