梯度提升（GB）

Python 树模型机器学习

Elie Kawerk

Data Scientist

梯度提升树

顺序纠正前一模型的错误。
不调整训练样本的权重。
每个学习器用前一模型的残差作为标签进行训练。
梯度提升树：以 CART 为基学习器。

回归用梯度提升树：训练

GBT-训练

收缩（Shrinkage）

GBT-学习率

梯度提升树：预测

回归：
- $y_{pred} = y_1 + \eta r_1 + ... + \eta r_N$
- 在 sklearn 中：GradientBoostingRegressor。
分类：
- 在 sklearn 中：GradientBoostingClassifier。

sklearn 中的梯度提升（auto 数据集）

# 导入模型与工具函数
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error as MSE

# 设置随机种子，确保可复现
SEED = 1

# 划分：70% 训练，30% 测试
X_train, X_test, y_train, y_test = train_test_split(X,y, 
                                                    test_size=0.3, 
                                                    random_state=SEED)

# 实例化 GradientBoostingRegressor 'gbt'
gbt = GradientBoostingRegressor(n_estimators=300, max_depth=1, random_state=SEED)


# 拟合训练集
gbt.fit(X_train, y_train)

# 预测测试集标签
y_pred = gbt.predict(X_test)

# 评估测试集 RMSE
rmse_test = MSE(y_test, y_pred)**(1/2)

# 打印测试集 RMSE
print('Test set RMSE: {:.2f}'.format(rmse_test))

Test set RMSE: 4.01

¡Vamos a practicar!

Python 树模型机器学习