随机森林

Python 树模型机器学习

Elie Kawerk

Data Scientist

装袋法（Bagging）

基学习器：决策树、逻辑回归、神经网络等
每个学习器在训练集的不同自助样本上训练
学习器在训练与预测中使用全部特征

随机森林带来更多多样性

基学习器：决策树
每个学习器在与训练集同规模的不同自助样本上训练
随机森林在单棵树的训练中进一步引入随机性
每个节点无放回采样 d 个特征
( d < 特征总数 )

随机森林：训练

RFtrain

随机森林：预测

RFpredict

随机森林：分类与回归

分类：

通过多数投票聚合预测
scikit-learn 中的 RandomForestClassifier

回归：

通过取平均聚合预测
scikit-learn 中的 RandomForestRegressor

sklearn 中的随机森林回归器（auto 数据集）

# Basic imports
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error as MSE
# Set seed for reproducibility
SEED = 1

# Split dataset into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X, y, 
                                                    test_size=0.3,
                                                    random_state=SEED)

# 实例化随机森林回归器 'rf'，400 棵树
rf = RandomForestRegressor(n_estimators=400, 
                                   min_samples_leaf=0.12,  
                                   random_state=SEED)

# 拟合训练集
rf.fit(X_train, y_train)
# 预测测试集标签 'y_pred'
y_pred = rf.predict(X_test)

# 评估测试集 RMSE
rmse_test = MSE(y_test, y_pred)**(1/2)

# 打印测试集 RMSE
print('Test set RMSE of rf: {:.2f}'.format(rmse_test))

Test set RMSE of rf: 3.98

特征重要性

基于树的方法：可衡量各特征对预测的贡献。

在 sklearn 中：

以加权平均衡量节点使用某特征降低不纯度的程度
通过属性 feature_importance_ 获取

sklearn 中的特征重要性

import pandas as pd
import matplotlib.pyplot as plt

# 创建特征重要性的 pd.Series
importances_rf = pd.Series(rf.feature_importances_, index = X.columns)

# 排序                                   
sorted_importances_rf = importances_rf.sort_values()   

# 绘制水平条形图
sorted_importances_rf.plot(kind='barh', color='lightgreen'); plt.show()

sklearn 中的特征重要性

fimp_rf

开始练习！

Python 树模型机器学习