Varianty gradient boostingu
Ensemble Methods in Python
Román de las Heras
Data Scientist, Appodeal
Varianty gradient boostingu
Algoritmus gradient boostingu
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Implementace
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Vlastnosti:
- Optimalizovaný pro distribuované výpočty
- Paralelní trénování jako základ
- Škálovatelný, přenositelný a přesný
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light gradient boosting machine
Vlastnosti:
- Vydán společností Microsoft (2017)
- Rychlejší a efektivnější trénování
- Nižší nároky na paměť
- Optimalizovaný pro paralelní zpracování a GPU
- Vhodný pro velké datové sady s omezenou rychlostí nebo pamětí
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Kategorický boosting
Vlastnosti:
- Open source od Yandexu (duben 2017)
- Vestavěné zpracování kategorických příznaků
- Přesný a robustní
- Rychlý a škálovatelný
- Uživatelsky přívětivé API
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Vyzkoušejte si to!
Ensemble Methods in Python
