Ensemble metody – shrnutí
Ensemble Methods in Python
Román de las Heras
Data Scientist, Appodeal
Kapitola 1: Voting a Averaging
Voting
- Kombinace: modus (většina)
- Klasifikace
- Heterogenní ensemble metoda
Averaging
- Kombinace: průměr
- Klasifikace a regrese
- Heterogenní ensemble metoda
Vhodné volby, pokud:
- Jste sestavili více různých modelů
- Nejste si jisti, který je nejlepší
- Chcete zlepšit celkový výkon
Kapitola 2: Bagging
Slabý estimátor
- Funguje jen mírně lépe než náhodný odhad
- Jednoduchý a rychlý model
- Základ homogenních ensemble metod
Bagging (Bootstrap Aggregating)
- Náhodné podvzorky s opakováním
- Velké množství „slabých" estimátorů
- Agregace pomocí Voting nebo Averaging
- Homogenní ensemble metoda
Vhodná volba, pokud:
- Chcete snížit rozptyl
- Potřebujete zamezit přetrénování
- Potřebujete větší stabilitu a robustnost
* Poznámka:
- Bagging je výpočetně náročný
Kapitola 3: Boosting
Postupné učení
- Typ homogenní ensemble metody
- Založeno na iterativním učení
- Sekvenční budování modelů
Algoritmy boostingu
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Vhodná volba, pokud:
- Řešíte komplexní problémy
- Potřebujete paralelní zpracování nebo distribuované výpočty
- Máte velké datové sady nebo vysokodimenzionální kategorické příznaky
Kapitola 4: Stacking
Stacking
- Kombinace: meta-estimátor (model)
- Klasifikace a regrese
- Heterogenní ensemble metoda
Implementace
- Od základu pomocí pandas a sklearn
- Pomocí knihovny MLxtend
Vhodná volba, pokud:
- Jste vyzkoušeli Voting / Averaging, ale výsledky nejsou uspokojivé
- Máte modely, které dobře fungují v různých situacích
Děkujeme a výborný ensemble!
Ensemble Methods in Python
