Variantes du gradient boosting
Méthodes d'ensemble en Python
Román de las Heras
Data Scientist, Appodeal
Variations du gradient boosting
Algorithmes de gradient boosting
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Implémentations
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Quelques propriétés :
- Optimisé pour l'informatique distribuée
- Apprentissage parallèle par nature
- Évolutif, portable et précis
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light Gradient Boosting Machine
Quelques propriétés :
- Lancé par Microsoft (2017)
- Entraînement plus rapide et plus efficace
- Plus léger en espace
- Optimisé pour le traitement parallèle et GPU
- Utile pour de grands jeux de données avec contraintes de vitesse ou mémoire
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Categorical Boosting
Quelques propriétés :
- Code source ouvert par Yandex (avril 2017)
- Gestion intégrée des variables catégorielles
- Précis et robuste
- Rapide et évolutif
- API conviviale
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Passons à la pratique !
Méthodes d'ensemble en Python
