Bootstrap agregace

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Heterogenní vs. homogenní ensembles

Heterogenní:

  • Různé algoritmy (doladěné)
  • Malý počet odhadovačů
  • Hlasování, průměrování a stacking

Homogenní:

  • Stejný algoritmus ("slabý" model)
  • Velký počet odhadovačů
  • Bagging a boosting
Ensemble Methods in Python

Condorcetův věnecový teorém

Požadavky:

  • Modely jsou nezávislé
  • Každý model je lepší než náhodný odhad
  • Všechny modely mají podobný výkon

Závěr: Přidávání modelů zlepšuje výkon ensembles (hlasování nebo průměrování) a přibližuje se k 1 (100 %)

Condorcet Markýz de Condorcet, francouzský filosof a matematik

Ensemble Methods in Python

Bootstrapping

Bootstrapping vyžaduje:

  • Náhodné dílčí vzorky
  • Vzorkování s navracením

Bootstrapping zajišťuje:

  • Různorodost: odlišné datové sady
  • Nezávislost: samostatně vzorkované

Bagging.png

Ensemble Methods in Python

Výhody a nevýhody baggingu

Výhody

  • Bagging obvykle snižuje rozptyl
  • Ensemble sám zabraňuje přeučení
  • Větší stabilita a robustnost

Nevýhody

  • Výpočetně náročné
Ensemble Methods in Python

Čas na procvičení!

Ensemble Methods in Python

Preparing Video For Download...