Ragam gradient boosting
Metode Ensemble di Python
Román de las Heras
Data Scientist, Appodeal
Variasi gradient boosting
Algoritma Gradient Boosting
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Implementasi
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Beberapa karakteristik:
- Dioptimalkan untuk komputasi terdistribusi
- Pelatihan paralel secara bawaan
- Dapat diskalakan, portabel, dan akurat
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light gradient boosting machine
Beberapa karakteristik:
- Dirilis oleh Microsoft (2017)
- Pelatihan lebih cepat dan lebih efisien
- Lebih ringan dalam penggunaan ruang
- Dioptimalkan untuk pemrosesan paralel dan GPU
- Cocok untuk dataset besar dengan batasan kecepatan atau memori
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Categorical boosting
Beberapa karakteristik:
- Sumber terbuka oleh Yandex (April 2017)
- Penanganan fitur kategorikal bawaan
- Akurat dan tangguh
- Cepat dan dapat diskalakan
- API ramah pengguna
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Giliran Anda!
Metode Ensemble di Python
