Metode ensemble

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Lisa Stuart

Data Scientist

Teknik pembelajaran ensemble

Bootstrap Aggregation
Boosting
Model stacking

Pengukuran galat

Pohon pendek

Pohon tinggi

Pohon gemuk

Model linier

Bias

Asumsi hubungan linier (keliru)

Bias tinggi
Underfitting
Generalisasi model buruk
Naikkan kompleksitas menurunkan bias

Model kompleks

Varians

Model berkompleksitas tinggi:

Varians tinggi
Overfitting
Generalisasi model buruk

Pertukaran Bias–Varians

¹ Sumber: Elements of Statistical Learning oleh Trevor Hastie, Robert Tibshirani, dan Jerome Friedman

Bagging (Bootstrap aggregation)

Sampel bootstrap
- Subset dipilih dengan pengembalian (with replacement)
- Baris data yang sama bisa terpilih
Bangun model untuk tiap sampel
Rata-ratakan output
Mengurangi varians

¹ https://medium.com/@rrfd/boosting-bagging-and-stacking-ensemble-methods-with-sklearn-and-mlens-a455c0c982de

Boosting

Banyak model dibangun berurutan
Prediksi yang salah diberi bobot
Mengurangi bias

¹ https://blog.bigml.com/2017/03/14/introduction-to-boosted-trees/

Model stacking

Prediksi Model 1
Prediksi Model 2...
Prediksi Model N
Stack untuk model dengan akurasi tertinggi
- Gunakan prediksi model dasar (Model N) sebagai input ke model level 2

¹ http://supunsetunga.blogspot.com/

Paket Vecstack

# import modules
from sklearn.ensemble import BaggingClassifier
from sklearn.ensemble import AdaBoostClassifier
from xgboost import XGBClassifier
from vecstack import stacking

# Create list: stacked_models
stacked_models = [BaggingClassifier(n_estimators=25, random_state=123), AdaBoostClassifier(n_estimators=25, random_state=123)]

# Stack the models: stack_train, stack_test
stack_train, stack_test = stacking(stacked_models, X_train, y_train, X_test, regression=False, mode='oof_pred_bag', 
                                   needs_proba=False, metric=accuracy_score, n_folds=4, stratified=True, shuffle=True, random_state=0, verbose=2)

# Initialize and fit 2nd level model
final_model = XGBClassifier(random_state=123, n_jobs=-1, learning_rate=0.1, n_estimators=10, max_depth=3)
final_model_fit = final_model.fit(stack_train, y_train)

# Predict: stacked_pred
stacked_pred = final_model.predict(stack_test)

# Final prediction score
print('Final prediction score: [%.8f]' % accuracy_score(y_test, stacked_pred))

¹ https://towardsdatascience.com/automate-stacking-in-python-fc3e7834772e

Fungsi ensemble

Algoritma	Fungsi
Bootstrap aggregation	`sklearn.ensemble.BaggingClassifier()`
Boosting	`sklearn.ensemble.AdaBoostClassifier()`
XGBoost	`xgboost.XGBClassifier()`

Bagging vs boosting

Teknik	Bias	Varians
Bootstrap aggregation (Bagging)	Naik	Turun
Boosting	Turun	Naik

MCQ teknik ensemble utama

Manakah pernyataan yang benar tentang tiga teknik utama metode ensemble dalam Machine Learning? Pilih pernyataan yang benar:

Metode boosting menurunkan varians model.
Metode boosting meningkatkan kemampuan prediksi sebuah klasifikator.
Bootstrap aggregation, atau bagging, menurunkan bias model.
Model stacking mengambil prediksi dari model individual dan menggabungkannya untuk membuat model dengan akurasi lebih tinggi.

MCQ teknik ensemble: jawaban

Manakah pernyataan yang benar tentang tiga teknik utama metode ensemble dalam Machine Learning? Jawaban yang benar adalah:

Model stacking mengambil prediksi dari model individual dan menggabungkannya untuk membuat model dengan akurasi lebih tinggi. (Model final dari beberapa model individual hampir selalu mengungguli masing-masing model.)

MCQ teknik ensemble: jawaban salah

Manakah pernyataan yang benar tentang tiga teknik utama metode ensemble dalam Machine Learning?

Metode boosting menurunkan varians model. (Boosting menurunkan bias, yang sekaligus dapat menaikkan varians untuk mencapai titik optimal generalisasi.)
Metode boosting meningkatkan kemampuan prediksi sebuah klasifikator. (Boosting menurunkan bias; dampaknya pada kemampuan prediksi bisa iya atau tidak.)
Bootstrap aggregation, atau bagging, menurunkan bias model. (Bagging menurunkan varians.)

Ayo berlatih!

Berlatih Pertanyaan Wawancara Machine Learning dengan Python