Rata-rata

Metode Ensemble di Python

Román de las Heras

Data Scientist, Appodeal

Menghitung Permen Jeli

Tebak jumlah permen jeli di festival beri

Bagaimana memberi estimasi yang baik?

Menebak (angka acak)
Perkiraan volume
Banyak pendekatan lain

Nilai sebenarnya ~ rata-rata(estimasi)

Rata-rata (Soft Voting)

Properti

Masalah Klasifikasi & Regresi
Soft Voting: Rata-rata
- Regresi: rata-rata nilai prediksi
- Klasifikasi: rata-rata probabilitas prediksi
Butuh minimal 2 estimator

Ensemble rata-rata dengan scikit-learn

Averaging Classifier

from sklearn.ensemble import VotingClassifier

clf_voting = VotingClassifier(

    estimators=[
       ('label1', clf_1), 
       ('label2', clf_2),
       ...
       ('labelN', clf_N)],

    voting='soft',

    weights=[w_1, w_2, ..., w_N]
)

Averaging Regressor

from sklearn.ensemble import VotingRegressor

reg_voting = VotingRegressor(

    estimators=[
       ('label1', reg_1), 
       ('label2', reg_2),
       ...
       ('labelN', reg_N)],

    weights=[w_1, w_2, ..., w_N]
)

Contoh scikit-learn

# Instantiate the individual models
clf_knn = KNeighborsClassifier(5)
clf_dt = DecisionTreeClassifier()
clf_lr = LogisticRegression()

# Create an averaging classifier
clf_voting = VotingClassifier(
    estimators=[
       ('knn', clf_knn), 
       ('dt', clf_dt), 
       ('lr', clf_lr)],
    voting='soft',
    weights=[1, 2, 1]
)

Kematian di Game of Thrones

Target:

Prediksi apakah karakter hidup atau tidak

Fitur:

Usia
Jenis kelamin
Muncul di buku ke-
Popularitas
Apakah kerabatnya masih hidup

Ayo berlatih!

Metode Ensemble di Python