Целевые (функции потерь) и базовые модели

Экстремальный градиентный бустинг с XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Целевые функции и их назначение

Показывает, насколько предсказание отличается от реального значения
Измеряет разницу между оценочными и истинными значениями на наборе данных
Цель: найти модель с минимальным значением функции потерь

Распространённые функции потерь и XGBoost

Названия функций потерь в xgboost:
- reg:squarederror — для задач регрессии
- reg:logistic — для классификации, когда нужно только решение, без вероятности
- binary:logistic — когда нужна вероятность, а не просто решение

Базовые модели и их роль

XGBoost строит мета-модель из множества отдельных моделей, которые в совокупности дают итоговый прогноз
Отдельные модели = базовые модели
В совокупности базовые модели должны давать нелинейный итоговый прогноз
Каждая базовая модель должна хорошо справляться с определённой частью набора данных
Два вида базовых моделей: деревья и линейные модели

Деревья как базовые модели: API Scikit-learn

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

boston_data = pd.read_csv("boston_housing.csv")

X, y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, test_size=0.2, 
                                                        random_state=123)

xg_reg = xgb.XGBRegressor(objective='reg:squarederror', n_estimators=10,
                                                  seed=123)
xg_reg.fit(X_train, y_train)

preds = xg_reg.predict(X_test)

Деревья как базовые модели: API Scikit-learn

rmse = np.sqrt(mean_squared_error(y_test,preds))

print("RMSE: %f" % (rmse))

RMSE: 129043.2314

Линейные базовые модели: только learning API

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

boston_data = pd.read_csv("boston_housing.csv")

X, y = boston_data.iloc[:,:-1],boston_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, test_size=0.2, 
                                                         random_state=123)

DM_train = xgb.DMatrix(data=X_train,label=y_train)
DM_test =  xgb.DMatrix(data=X_test,label=y_test)

params = {"booster":"gblinear","objective":"reg:squarederror"}

xg_reg = xgb.train(params = params, dtrain=DM_train, num_boost_round=10)

preds = xg_reg.predict(DM_test)

Линейные базовые модели: только learning API

rmse = np.sqrt(mean_squared_error(y_test,preds))

print("RMSE: %f" % (rmse))

RMSE: 124326.24465

Давайте потренируемся!

Экстремальный градиентный бустинг с XGBoost