Gradient boosting

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Giới thiệu về máy gradient boosting

hàm_mục_tiêu.png

Mô hình ban đầu (ước lượng yếu): $y\sim f_1(X)$
Mô hình mới khớp phần dư: $y-f_1(X)\sim f_2(X)$
Mô hình cộng mới: $y\sim f_1(X)+f_2(X)$
Lặp $n$ lần hoặc đến khi lỗi đủ nhỏ
Mô hình cộng cuối: $$y\sim f_1(X)+f_2(X)+ ... +f_n(x)=\sum_{i=1}^{n} f_i(X)$$

Tương đương với gradient descent

hàm_phần_dư.png

Gradient Descent:

hàm_mất_mát.png

gradient_hàm.png

Phần dư = Gradient âm

gradient_âm_hàm.png

Trình phân loại gradient boosting

Gradient Boosting Classifier

from sklearn.ensemble import GradientBoostingClassifier

clf_gbm = GradientBoostingClassifier(
   n_estimators=100,
   learning_rate=0.1,
   max_depth=3,
   min_samples_split,
   min_samples_leaf,
   max_features
)

n_estimators
- Mặc định: 100
learning_rate
- Mặc định: 0.1
max_depth
- Mặc định: 3
min_samples_split
min_samples_leaf
max_features

Bộ hồi quy gradient boosting

Gradient Boosting Regressor

from sklearn.ensemble import GradientBoostingRegressor

reg_gbm = GradientBoostingRegressor(
   n_estimators=100,
   learning_rate=0.1,
   max_depth=3,
   min_samples_split,
   min_samples_leaf,
   max_features
)

Đến lúc tăng cường!

Ensemble Methods in Python