Bootstrap aggregating

Metode Ensemble di Python

Román de las Heras

Data Scientist, Appodeal

Ansambel heterogen vs homogen

Heterogen:

  • Algoritma berbeda (di-fine-tune)
  • Jumlah estimator sedikit
  • Voting, Averaging, dan Stacking

Homogen:

  • Algoritma yang sama (model “lemah”)
  • Jumlah estimator banyak
  • Bagging dan Boosting
Metode Ensemble di Python

Teorema Juri Condorcet

Prasyarat:

  • Model saling independen
  • Tiap model lebih baik dari tebak acak
  • Semua model individu kinerjanya serupa

Kesimpulan: Menambah model meningkatkan kinerja ansambel (Voting atau Averaging), dan ini mendekati 1 (100%)

Condorcet Marquis de Condorcet, filsuf dan matematikawan Prancis

Metode Ensemble di Python

Bootstrapping

Bootstrapping memerlukan:

  • Subsampel acak
  • Dengan pengembalian (with replacement)

Bootstrapping menjamin:

  • Keragaman: dataset berbeda
  • Independen: diambil terpisah

Bagging.png

Metode Ensemble di Python

Kelebihan dan kekurangan bagging

Kelebihan

  • Bagging biasanya menurunkan varians
  • Overfitting dapat dihindari oleh ansambel itu sendiri
  • Lebih stabil dan tangguh

Kekurangan

  • Biaya komputasi tinggi
Metode Ensemble di Python

Ayo berlatih!

Metode Ensemble di Python

Preparing Video For Download...