Introducere în XGBoost

Gradient Boosting Extrem cu XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Ce este XGBoost?

Bibliotecă optimizată de gradient boosting
Scrisă inițial în C++
Dispune de API-uri în mai multe limbaje:
- Python
- R
- Scala
- Julia
- Java

De ce este XGBoost atât de popular?

Viteză și performanță ridicate
Algoritmul de bază este paralelizabil
Depășește constant metodele bazate pe un singur algoritm
Performanță de vârf în numeroase sarcini de ML

Utilizarea XGBoost: un exemplu rapid

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

class_data = pd.read_csv("classification_data.csv")

X, y = class_data.iloc[:,:-1], class_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, 
        test_size=0.2, random_state=123)

xg_cl = xgb.XGBClassifier(objective='binary:logistic', 
        n_estimators=10, seed=123)

xg_cl.fit(X_train, y_train)

preds = xg_cl.predict(X_test)

accuracy = float(np.sum(preds==y_test))/y_test.shape[0]

print("accuracy: %f" % (accuracy))

accuracy: 0.78333

Să începem să utilizăm XGBoost!

Gradient Boosting Extrem cu XGBoost