BaggingClassifier: dasar dan praktik

Metode Ensemble di Python

Román de las Heras

Data Scientist, Appodeal

Fungsi Heterogen vs Homogen

Fungsi Ensemble Heterogen

het_est = HeterogeneousEnsemble(
    estimators=[('est1', est1), ('est2', est2), ...],
    # additional parameters
)

Fungsi Ensemble Homogen

hom_est = HomogeneousEnsemble(
    est_base,
    n_estimators=chosen_number,
    # additional parameters
)

Contoh Bagging Classifier:

# Instansiasi estimator dasar (model "lemah")
clf_dt = DecisionTreeClassifier(max_depth=3)

# Bangun Bagging classifier dengan 5 estimator
clf_bag = BaggingClassifier(
    clf_dt,
    n_estimators=5
)

# Latih model Bagging pada data latih
clf_bag.fit(X_train, y_train)

# Buat prediksi pada data uji
y_pred = clf_bag.predict(X_test)

Contoh Bagging Regressor:

# Instansiasi estimator dasar (model "lemah")
reg_lr = LinearRegression()

# Bangun Bagging regressor dengan 10 estimator
reg_bag = BaggingRegressor(
    reg_lr
)

# Latih model Bagging pada data latih
reg_bag.fit(X_train, y_train)

# Buat prediksi pada data uji
y_pred = reg_bag.predict(X_test)

Hitung prediksi individual dari semua estimator untuk instance yang berada di luar sampel
Gabungkan prediksi individual
Nilai metrik pada prediksi tersebut:
- Klasifikasi: akurasi
- Regresi: R^2

clf_bag = BaggingClassifier(
    clf_dt,
    oob_score=True
)
clf_bag.fit(X_train, y_train)

print(clf_bag.oob_score_)

0.9328125

pred = clf_bag.predict(X_test)
print(accuracy_score(y_test, pred))

0.9625

Metode Ensemble di Python