Boosting nedir?

XGBoost ile Aşırı Gradyan Artırma

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Boosting'e genel bakış

Belirli bir Machine Learning algoritması değildir
Machine Learning modelleri kümesine uygulanabilen bir kavramdır
- "Meta-algoritma"
Birçok zayıf öğreneni güçlü bir öğrenene dönüştüren topluluk meta-algoritması

Zayıf ve güçlü öğrenenler

Zayıf öğrenen: Şanstan biraz daha iyi olan ML algoritması
- Örnek: Tahminleri %50'den biraz daha iyi olan karar ağacı
Boosting, zayıf öğrenenler kümesini güçlü bir öğrenene dönüştürür
Güçlü öğrenen: İyi performans için ayarlanabilen herhangi bir algoritma

Boosting nasıl yapılır

Verinin alt kümelerinde yinelemeli olarak bir dizi zayıf model öğrenmek
Her zayıf öğrenenin performansına göre her zayıf tahmini ağırlıklandırmak
Ağırlıklı tahminleri birleştirip tek bir ağırlıklı tahmin elde etmek
... ki bu, tek tek tahminlerden çok daha iyidir!

Boosting örneği

¹ https://xgboost.readthedocs.io/en/latest/model.html

Çapraz doğrulama ile model değerlendirme

Çapraz doğrulama: Bir modelin görülmemiş verideki performansını tahmin etmek için sağlam bir yöntem
Eğitim verisi üzerinde çok sayıda çakışmayan train/test bölmesi üretir
Tüm bölmelerdeki ortalama test seti performansını raporlar

XGBoost'ta çapraz doğrulama örneği

import xgboost as xgb
import pandas as pd

churn_data = pd.read_csv("classification_data.csv")

churn_dmatrix = xgb.DMatrix(data=churn_data.iloc[:,:-1], 
        label=churn_data.month_5_still_here)

params={"objective":"binary:logistic","max_depth":4}

cv_results = xgb.cv(dtrain=churn_dmatrix, params=params, nfold=4,
        num_boost_round=10, metrics="error", as_pandas=True)

print("Accuracy: %f" %((1-cv_results["test-error-mean"]).iloc[-1]))

Accuracy: 0.88315

Hadi pratik yapalım!

XGBoost ile Aşırı Gradyan Artırma