Bagging

Python 树模型机器学习

Elie Kawerk

Data Scientist

集成方法

投票分类器

相同训练集，
不同算法。

Bagging

同一算法，
训练集的不同子集。

Bagging

Bagging：自助聚合（Bootstrap Aggregation）。
使用称为自助法（bootstrap）的技术。
降低集成中单个模型的方差。

自助法（Bootstrap）

自助法

Bagging：训练

Bagging 训练

Bagging：预测

Bagging 预测

Bagging：分类与回归

分类：

通过多数投票汇总预测。
scikit-learn 中的 BaggingClassifier。

回归：

通过求平均汇总预测。
scikit-learn 中的 BaggingRegressor。

sklearn 中的 Bagging 分类器（乳腺癌数据集）

# Import models and utility functions
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split

# Set seed for reproducibility
SEED = 1

# Split data into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    stratify=y,
                                                    random_state=SEED)

# Instantiate a classification-tree 'dt'
dt = DecisionTreeClassifier(max_depth=4, min_samples_leaf=0.16, random_state=SEED)

# Instantiate a BaggingClassifier 'bc'
bc = BaggingClassifier(base_estimator=dt, n_estimators=300, n_jobs=-1)

# Fit 'bc' to the training set
bc.fit(X_train, y_train)
# Predict test set labels
y_pred = bc.predict(X_test)

# Evaluate and print test-set accuracy
accuracy = accuracy_score(y_test, y_pred)
print('Accuracy of Bagging Classifier: {:.3f}'.format(accuracy))

Accuracy of Bagging Classifier: 0.936

Ayo berlatih!

Python 树模型机器学习