Varianti del gradient boosting
Metodi Ensemble in Python
Román de las Heras
Data Scientist, Appodeal
Varianti del gradient boosting
Algoritmi di Gradient Boosting
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Implementazioni
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Alcune caratteristiche:
- Ottimizzato per il calcolo distribuito
- Addestramento intrinsecamente parallelo
- Scalabile, portabile e accurato
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light Gradient Boosting Machine
Alcune caratteristiche:
- Rilasciato da Microsoft (2017)
- Addestramento più veloce ed efficiente
- Più leggero in termini di spazio
- Ottimizzato per elaborazione parallela e GPU
- Utile con dataset grandi e vincoli di velocità o memoria
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Categorical boosting
Alcune caratteristiche:
- Open source da Yandex (aprile 2017)
- Gestione nativa delle variabili categoriche
- Accurato e robusto
- Veloce e scalabile
- API facile da usare
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Ora tocca a te!
Metodi Ensemble in Python
