Menggabungkan semuanya dengan ensembling

Metode Ensemble di Python

Román de las Heras

Data Scientist, Appodeal

Bab 1: Voting dan Averaging

Voting

  • Kombinasi: modus (mayoritas)
  • Klasifikasi
  • Metode ensemble heterogen

Averaging

  • Kombinasi: mean (rata-rata)
  • Klasifikasi dan Regresi
  • Metode ensemble heterogen

Pilihan yang tepat saat Anda:

  • Telah membangun banyak model berbeda
  • Tidak yakin mana yang terbaik
  • Ingin meningkatkan kinerja keseluruhan
Metode Ensemble di Python

Bab 2: Bagging

Estimator lemah

  • Sedikit lebih baik dari menebak acak
  • Model ringan dan cepat
  • Dasar untuk metode ensemble homogen

Bagging (Bootstrap Aggregating)

  • Subsampel acak dengan pengembalian
  • Banyak estimator "lemah"
  • Digabung dengan Voting atau Averaging
  • Metode ensemble homogen

Pilihan yang tepat saat Anda:

  • Ingin mengurangi varians
  • Perlu menghindari overfitting
  • Butuh stabilitas dan ketangguhan lebih tinggi

* Observasi:

  • Bagging memerlukan komputasi besar
Metode Ensemble di Python

Bab 3: Boosting

Pembelajaran bertahap

  • Jenis metode ensemble homogen
  • Berbasis pembelajaran iteratif
  • Pembangunan model berurutan

Algoritma Boosting

  • AdaBoost
  • Gradient Boosting:
    • XGBoost
    • LightGBM
    • CatBoost

Pilihan yang tepat saat Anda:

  • Memiliki masalah yang kompleks
  • Perlu pemrosesan paralel atau komputasi terdistribusi
  • Memiliki dataset besar atau fitur kategorikal berdimensi tinggi
Metode Ensemble di Python

Bab 4: Stacking

Stacking

  • Kombinasi: meta-estimator (model)
  • Klasifikasi dan Regresi
  • Metode ensemble heterogen

Implementasi

  • Dari nol dengan pandas dan sklearn
  • Menggunakan pustaka MLxtend

Pilihan yang tepat saat Anda:

  • Sudah mencoba Voting/Averaging tapi hasil belum sesuai
  • Memiliki model yang unggul di kasus berbeda
Metode Ensemble di Python

Terima kasih dan selamat melakukan ensembling!

Metode Ensemble di Python

Preparing Video For Download...