Menggabungkan semuanya dengan ensembling
Metode Ensemble di Python
Román de las Heras
Data Scientist, Appodeal
Bab 1: Voting dan Averaging
Voting
- Kombinasi: modus (mayoritas)
- Klasifikasi
- Metode ensemble heterogen
Averaging
- Kombinasi: mean (rata-rata)
- Klasifikasi dan Regresi
- Metode ensemble heterogen
Pilihan yang tepat saat Anda:
- Telah membangun banyak model berbeda
- Tidak yakin mana yang terbaik
- Ingin meningkatkan kinerja keseluruhan
Bab 2: Bagging
Estimator lemah
- Sedikit lebih baik dari menebak acak
- Model ringan dan cepat
- Dasar untuk metode ensemble homogen
Bagging (Bootstrap Aggregating)
- Subsampel acak dengan pengembalian
- Banyak estimator "lemah"
- Digabung dengan Voting atau Averaging
- Metode ensemble homogen
Pilihan yang tepat saat Anda:
- Ingin mengurangi varians
- Perlu menghindari overfitting
- Butuh stabilitas dan ketangguhan lebih tinggi
* Observasi:
- Bagging memerlukan komputasi besar
Bab 3: Boosting
Pembelajaran bertahap
- Jenis metode ensemble homogen
- Berbasis pembelajaran iteratif
- Pembangunan model berurutan
Algoritma Boosting
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Pilihan yang tepat saat Anda:
- Memiliki masalah yang kompleks
- Perlu pemrosesan paralel atau komputasi terdistribusi
- Memiliki dataset besar atau fitur kategorikal berdimensi tinggi
Bab 4: Stacking
Stacking
- Kombinasi: meta-estimator (model)
- Klasifikasi dan Regresi
- Metode ensemble heterogen
Implementasi
- Dari nol dengan pandas dan sklearn
- Menggunakan pustaka MLxtend
Pilihan yang tepat saat Anda:
- Sudah mencoba Voting/Averaging tapi hasil belum sesuai
- Memiliki model yang unggul di kasus berbeda
Terima kasih dan selamat melakukan ensembling!
Metode Ensemble di Python
