Fungsi objektif (loss) dan base learner

Extreme Gradient Boosting dengan XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Fungsi objektif dan alasan penggunaannya

Mengukur seberapa jauh prediksi dari hasil sebenarnya
Mengukur selisih antara nilai taksiran dan nilai benar pada suatu kumpulan data
Tujuan: Menemukan model dengan nilai fungsi loss minimum

Fungsi loss umum dan XGBoost

Nama fungsi loss di xgboost:
- reg:squarederror - gunakan untuk masalah regresi
- reg:logistic - gunakan untuk klasifikasi saat Anda hanya ingin keputusan, bukan probabilitas
- binary:logistic - gunakan saat Anda ingin probabilitas, bukan hanya keputusan

Base learner dan mengapa kita membutuhkannya

XGBoost membangun meta-model yang tersusun dari banyak model individual yang digabung untuk memberi prediksi akhir
Model individual = base learner
Inginkan base learner yang saat digabung menghasilkan prediksi akhir yang non-linear
Tiap base learner sebaiknya unggul membedakan atau memprediksi bagian data yang berbeda
Dua jenis base learner: tree dan linear

Contoh tree sebagai base learner: API Scikit-learn

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

boston_data = pd.read_csv("boston_housing.csv")

X, y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, test_size=0.2, 
                                                        random_state=123)

xg_reg = xgb.XGBRegressor(objective='reg:squarederror', n_estimators=10,
                                                  seed=123)
xg_reg.fit(X_train, y_train)

preds = xg_reg.predict(X_test)

Contoh tree sebagai base learner: API Scikit-learn

rmse = np.sqrt(mean_squared_error(y_test,preds))

print("RMSE: %f" % (rmse))

RMSE: 129043.2314

Contoh base learner linear: hanya learning API

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

boston_data = pd.read_csv("boston_housing.csv")

X, y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, test_size=0.2, 
                                                         random_state=123)

DM_train = xgb.DMatrix(data=X_train,label=y_train)
DM_test =  xgb.DMatrix(data=X_test,label=y_test)

params = {"booster":"gblinear","objective":"reg:squarederror"}

xg_reg = xgb.train(params = params, dtrain=DM_train, num_boost_round=10)

preds = xg_reg.predict(DM_test)

Contoh base learner linear: hanya learning API

rmse = np.sqrt(mean_squared_error(y_test,preds))

print("RMSE: %f" % (rmse))

RMSE: 124326.24465

Ayo mulai bekerja!

Extreme Gradient Boosting dengan XGBoost