Objektiv (förlust) funktioner och basinlärare

Extreme Gradient Boosting med XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Objektiva funktioner och varför vi använder dem

  • Kvantifierar hur fel en prediktion är jämfört med det faktiska resultatet
  • Mäter skillnaden mellan skattade och sanna värden för en datamängd
  • Mål: hitta den modell som minimerar förlustfunktionens värde
Extreme Gradient Boosting med XGBoost

Vanliga förlustfunktioner och XGBoost

  • Namn på förlustfunktioner i xgboost:
    • reg:squarederror – används för regressionsproblem
    • reg:logistic – används för klassificeringsproblem när du bara vill ha ett beslut, inte sannolikhet
    • binary:logistic – används när du vill ha sannolikhet snarare än bara ett beslut
Extreme Gradient Boosting med XGBoost

Basinlärare och varför vi behöver dem

  • XGBoost bygger en metamodell bestående av många enskilda modeller som kombineras till en slutlig prediktion
  • Enskilda modeller = basinlärare
  • Basinlärarna ska tillsammans ge en icke-linjär slutlig prediktion
  • Varje basinlärare bör vara bra på att urskilja eller prediktera olika delar av datamängden
  • Två typer av basinlärare: träd och linjär
Extreme Gradient Boosting med XGBoost

Träd som basinlärare: Scikit-learn API

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

boston_data = pd.read_csv("boston_housing.csv")

X, y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, test_size=0.2, 
                                                        random_state=123)

xg_reg = xgb.XGBRegressor(objective='reg:squarederror', n_estimators=10,
                                                  seed=123)
xg_reg.fit(X_train, y_train)

preds = xg_reg.predict(X_test)
Extreme Gradient Boosting med XGBoost

Träd som basinlärare: Scikit-learn API

rmse = np.sqrt(mean_squared_error(y_test,preds))

print("RMSE: %f" % (rmse))

RMSE: 129043.2314
Extreme Gradient Boosting med XGBoost

Linjär basinlärare: endast learning API

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

boston_data = pd.read_csv("boston_housing.csv")

X, y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, test_size=0.2, 
                                                         random_state=123)

DM_train = xgb.DMatrix(data=X_train,label=y_train)
DM_test =  xgb.DMatrix(data=X_test,label=y_test)

params = {"booster":"gblinear","objective":"reg:squarederror"}

xg_reg = xgb.train(params = params, dtrain=DM_train, num_boost_round=10)

preds = xg_reg.predict(DM_test)
Extreme Gradient Boosting med XGBoost

Linjär basinlärare: endast learning API

rmse = np.sqrt(mean_squared_error(y_test,preds))

print("RMSE: %f" % (rmse))

RMSE: 124326.24465
Extreme Gradient Boosting med XGBoost

Nu kör vi en övning!

Extreme Gradient Boosting med XGBoost

Preparing Video For Download...