Giới thiệu về XGBoost

Gradient Boosting Cực Mạnh với XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

XGBoost là gì?

Thư viện Machine Learning gradient boosting tối ưu hóa
Ban đầu viết bằng C++
Có API cho nhiều ngôn ngữ:
- Python
- R
- Scala
- Julia
- Java

Vì sao XGBoost phổ biến?

Nhanh và hiệu năng cao
Thuật toán lõi có thể chạy song song
Ổn định vượt trội so với phương pháp đơn thuật toán
Hiệu suất dẫn đầu trong nhiều tác vụ ML

Dùng XGBoost: ví dụ nhanh

import xgboost as xgb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

class_data = pd.read_csv("classification_data.csv")

X, y = class_data.iloc[:,:-1], class_data.iloc[:,-1]

X_train, X_test, y_train, y_test= train_test_split(X, y, 
        test_size=0.2, random_state=123)

xg_cl = xgb.XGBClassifier(objective='binary:logistic', 
        n_estimators=10, seed=123)

xg_cl.fit(X_train, y_train)

preds = xg_cl.predict(X_test)

accuracy = float(np.sum(preds==y_test))/y_test.shape[0]

print("accuracy: %f" % (accuracy))

accuracy: 0.78333

Bắt đầu dùng XGBoost!

Gradient Boosting Cực Mạnh với XGBoost