그래디언트 부스팅 (GB)

Python으로 배우는 트리 기반 Machine Learning

Elie Kawerk

Data Scientist

그래디언트 부스팅 트리

이전 모델 오류를 순차적으로 보정.
학습 인스턴스의 가중치는 조정하지 않음.
각 예측기는 이전 예측기의 잔차를 레이블로 학습.
그래디언트 부스팅 트리: 기본 학습기로 CART 사용.

회귀용 그래디언트 부스팅 트리: 학습

GBT-학습

수축(shrinkage)

GBT-학습률

그래디언트 부스팅 트리: 예측

회귀:
- $y_{pred} = y_1 + \eta r_1 + ... + \eta r_N$
- sklearn: GradientBoostingRegressor.
분류:
- sklearn: GradientBoostingClassifier.

sklearn의 그래디언트 부스팅 (auto 데이터셋)

# Import models and utility functions
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error as MSE

# Set seed for reproducibility
SEED = 1

# Split dataset into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X,y, 
                                                    test_size=0.3, 
                                                    random_state=SEED)

# Instantiate a GradientBoostingRegressor 'gbt'
gbt = GradientBoostingRegressor(n_estimators=300, max_depth=1, random_state=SEED)


# Fit 'gbt' to the training set
gbt.fit(X_train, y_train)

# Predict the test set labels
y_pred = gbt.predict(X_test)

# Evaluate the test set RMSE
rmse_test = MSE(y_test, y_pred)**(1/2)

# Print the test set RMSE
print('Test set RMSE: {:.2f}'.format(rmse_test))

Test set RMSE: 4.01

Ayo berlatih!

Python으로 배우는 트리 기반 Machine Learning