Warianty gradient boosting
Metody zespołowe w Pythonie
Román de las Heras
Data Scientist, Appodeal
Warianty gradient boosting
Algorytm gradient boosting
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Implementacja
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Właściwości:
- Zoptymalizowany do obliczeń rozproszonych
- Równoległe uczenie jako cecha podstawowa
- Skalowalny, przenośny i dokładny
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light gradient boosting machine
Właściwości:
- Wydany przez Microsoft (2017)
- Szybsze i wydajniejsze uczenie
- Mniejsze zużycie pamięci
- Zoptymalizowany pod kątem równoległości i GPU
- Przydatny przy dużych zbiorach danych z ograniczeniami szybkości lub pamięci
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Categorical boosting
Właściwości:
- Open source od Yandex (kwiecień 2017)
- Wbudowana obsługa cech kategorycznych
- Dokładny i odporny
- Szybki i skalowalny
- Przyjazne API
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Czas na praktykę!
Metody zespołowe w Pythonie
