Різновиди градієнтного бустингу
Ансамблеві методи в Python
Román de las Heras
Data Scientist, Appodeal
Варіації градієнтного бустингу
Алгоритм градієнтного бустингу
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Реалізації
- XGBoost
- LightGBM
- CatBoost
Екстремальний градієнтний бустинг (XGBoost)
Деякі властивості:
- Оптимізовано для розподілених обчислень
- Природно підтримує паралельне навчання
- Масштабований, портативний і точний
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light Gradient Boosting Machine
Деякі властивості:
- Випущено Microsoft (2017)
- Швидше навчання й ефективніше
- Менші вимоги до памʼяті
- Оптимізовано для паралельної та GPU-обробки
- Корисно для великих наборів даних і обмежень за швидкістю чи памʼяттю
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Категоріальний бустинг
Деякі властивості:
- Відкрито компанією Yandex (квітень 2017)
- Вбудована обробка категоріальних ознак
- Точний і надійний
- Швидкий і масштабований
- Зручний API
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Тепер ваша черга!
Ансамблеві методи в Python
