Variações de gradient boosting
Métodos de Ensemble em Python
Román de las Heras
Data Scientist, Appodeal
Variações de gradient boosting
Algoritmo de Gradient Boosting
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Implementações
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Algumas propriedades:
- Otimizado para computação distribuída
- Treinamento paralelo por natureza
- Escalável, portátil e preciso
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light gradient boosting machine
Algumas propriedades:
- Lançado pela Microsoft (2017)
- Treino mais rápido e eficiente
- Mais leve em espaço
- Otimizado para processamento paralelo e GPU
- Útil para grandes conjuntos de dados e restrições de velocidade ou memória
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Categorical boosting
Algumas propriedades:
- Open source pela Yandex (abril de 2017)
- Tratamento nativo de variáveis categóricas
- Preciso e robusto
- Rápido e escalável
- API amigável
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
É a sua vez!
Métodos de Ensemble em Python
