Các biến thể của gradient boosting
Ensemble Methods in Python
Román de las Heras
Data Scientist, Appodeal
Biến thể của gradient boosting
Thuật toán Gradient Boosting
- Extreme Gradient Boosting
- Light Gradient Boosting Machine
- Categorical Boosting
Công cụ triển khai
- XGBoost
- LightGBM
- CatBoost
Extreme gradient boosting (XGBoost)
Một số đặc điểm:
- Tối ưu cho tính toán phân tán
- Huấn luyện song song tự nhiên
- Mở rộng tốt, di động, chính xác
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
Light gradient boosting machine
Một số đặc điểm:
- Phát hành bởi Microsoft (2017)
- Huấn luyện nhanh hơn, hiệu quả hơn
- Nhẹ hơn về dung lượng
- Tối ưu cho xử lý song song và GPU
- Hữu ích cho dữ liệu lớn, giới hạn về tốc độ/nhớ
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
Categorical boosting
Một số đặc điểm:
- Mã nguồn mở bởi Yandex (4/2017)
- Xử lý biến phân loại tích hợp
- Chính xác và ổn định
- Nhanh và mở rộng tốt
- API thân thiện
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
Đến lượt bạn!
Ensemble Methods in Python
