勾配ブースティング（GB）

Pythonで学ぶ木ベースのMachine Learning

Elie Kawerk

Data Scientist

勾配ブースト木（GBT）

  • 直列に前モデルの誤差を修正。

  • 学習サンプルの重みは調整しない。

  • 各学習器は前モデルの残差を目的変数として学習。

  • 勾配ブースト木: ベース学習器にCARTを使用。

Pythonで学ぶ木ベースのMachine Learning

回帰向けGBT: 学習

GBTの学習

Pythonで学ぶ木ベースのMachine Learning

縮小（Shrinkage）

学習率（Shrinkage）

Pythonで学ぶ木ベースのMachine Learning

勾配ブースト木: 予測

  • 回帰:

    • $y_{pred} = y_1 + \eta r_1 + ... + \eta r_N$
    • sklearn: GradientBoostingRegressor。

  • 分類:

    • sklearn: GradientBoostingClassifier。
Pythonで学ぶ木ベースのMachine Learning

sklearnでの勾配ブースティング（autoデータセット）

# Import models and utility functions
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error as MSE

# Set seed for reproducibility
SEED = 1

# Split dataset into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X,y, 
                                                    test_size=0.3, 
                                                    random_state=SEED)
Pythonで学ぶ木ベースのMachine Learning
# Instantiate a GradientBoostingRegressor 'gbt'
gbt = GradientBoostingRegressor(n_estimators=300, max_depth=1, random_state=SEED)


# Fit 'gbt' to the training set
gbt.fit(X_train, y_train)

# Predict the test set labels
y_pred = gbt.predict(X_test)

# Evaluate the test set RMSE
rmse_test = MSE(y_test, y_pred)**(1/2)

# Print the test set RMSE
print('Test set RMSE: {:.2f}'.format(rmse_test))

Test set RMSE: 4.01
Pythonで学ぶ木ベースのMachine Learning

演習に進みましょう！

Pythonで学ぶ木ベースのMachine Learning

Preparing Video For Download...