Totul despre ansambluri
Metode de ansamblu în Python
Román de las Heras
Data Scientist, Appodeal
Capitolul 1: Voting și Averaging
Voting
- Combinare: mod (majoritate)
- Clasificare
- Metodă de ansamblu eterogen
Averaging
- Combinare: medie (average)
- Clasificare și regresie
- Metodă de ansamblu eterogen
Alegeri potrivite când:
- Ați construit mai multe modele diferite
- Nu știți care este cel mai bun
- Doriți să îmbunătățiți performanța generală
Capitolul 2: Bagging
Estimator slab
- Performează puțin mai bine decât ghicitul aleatoriu
- Model ușor și rapid
- Bază pentru metodele de ansamblu omogen
Bagging (Bootstrap Aggregating)
- Subeșantioane aleatoare cu înlocuire
- Număr mare de estimatori "slabi"
- Agregate prin Voting sau Averaging
- Metodă de ansamblu omogen
Alegere potrivită când:
- Doriți să reduceți varianța
- Trebuie să evitați supraadaptarea
- Aveți nevoie de mai multă stabilitate și robustețe
* Observație:
- Bagging este costisitor din punct de vedere computațional
Capitolul 3: Boosting
Învățare graduală
- Tip de metodă de ansamblu omogen
- Bazată pe învățare iterativă
- Construire secvențială a modelelor
Algoritmi de boosting
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Alegere potrivită când:
- Aveți probleme complexe
- Trebuie să aplicați procesare paralelă sau calcul distribuit
- Aveți seturi mari de date sau caracteristici categorice de înaltă dimensiune
Capitolul 4: Stacking
Stacking
- Combinare: meta-estimator (model)
- Clasificare și regresie
- Metodă de ansamblu eterogen
Implementare
- De la zero, folosind pandas și sklearn
- Folosind biblioteca MLxtend
Alegere potrivită când:
- Ați încercat Voting / Averaging, dar rezultatele nu sunt satisfăcătoare
- Ați construit modele care performează bine în cazuri diferite
Mulțumim și succes cu ansamblurile!
Metode de ansamblu în Python
