Gradyan Artırma (GB)

Python ile Ağaç Tabanlı Modellerle Machine Learning

Elie Kawerk

Data Scientist

Gradyan Artırılmış Ağaçlar

Öncekinin hatalarını art arda düzeltir.
Eğitim örneklerinin ağırlıklarını değiştirmez.
Her tahminleyici, selefinin artık hatalarını etiket olarak kullanarak eğitilir.
Gradyan Artırılmış Ağaçlar: temel öğrenici olarak CART kullanılır.

Regresyon için Gradyan Artırılmış Ağaçlar: Eğitim

GBT-eğitim

Daraltma

GBT-öğrenme-hızı

Gradyan Artırılmış Ağaçlar: Tahmin

Regresyon:
- $y_{pred} = y_1 + \eta r_1 + ... + \eta r_N$
- sklearn: GradientBoostingRegressor.
Sınıflandırma:
- sklearn: GradientBoostingClassifier.

sklearn ile Gradyan Artırma (auto veri seti)

# Import models and utility functions
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error as MSE

# Set seed for reproducibility
SEED = 1

# Split dataset into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X,y, 
                                                    test_size=0.3, 
                                                    random_state=SEED)

# Instantiate a GradientBoostingRegressor 'gbt'
gbt = GradientBoostingRegressor(n_estimators=300, max_depth=1, random_state=SEED)


# Fit 'gbt' to the training set
gbt.fit(X_train, y_train)

# Predict the test set labels
y_pred = gbt.predict(X_test)

# Evaluate the test set RMSE
rmse_test = MSE(y_test, y_pred)**(1/2)

# Print the test set RMSE
print('Test set RMSE: {:.2f}'.format(rmse_test))

Test set RMSE: 4.01

Hadi pratik yapalım!

Python ile Ağaç Tabanlı Modellerle Machine Learning