Ensembling – allt på ett ställe
Ensemblemetoder i Python
Román de las Heras
Data Scientist, Appodeal
Kapitel 1: Röstning och medelvärde
Röstning
- Kombination: typvärde (majoritet)
- Klassificering
- Heterogen ensemblemetod
Medelvärde
- Kombination: medelvärde (genomsnitt)
- Klassificering och regression
- Heterogen ensemblemetod
Bra val när du:
- Har byggt flera olika modeller
- Är osäker på vilken som är bäst
- Vill förbättra den totala prestandan
Kapitel 2: Bagging
Svag estimator
- Presterar marginellt bättre än slumpmässig gissning
- Lätt och snabb modell
- Bas för homogena ensemblemetoder
Bagging (Bootstrap Aggregating)
- Slumpmässiga delurval med återläggning
- Stort antal "svaga" estimatorer
- Aggregeras via röstning eller medelvärde
- Homogen ensemblemetod
Bra val när du:
- Vill minska variansen
- Behöver undvika överanpassning
- Behöver mer stabilitet och robusthet
* Observera:
- Bagging är beräkningsmässigt krävande
Kapitel 3: Boosting
Gradvis inlärning
- Typ av homogen ensemblemetod
- Baseras på iterativ inlärning
- Sekventiellt modellbyggande
Boostingalgoritmer
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Bra val när du:
- Har komplexa problem
- Behöver parallell bearbetning eller distribuerad beräkning
- Har stora datamängder eller högdimensionella kategoriska särdrag
Kapitel 4: Stacking
Stacking
- Kombination: meta-estimator (modell)
- Klassificering och regression
- Heterogen ensemblemetod
Implementering
- Från grunden med pandas och sklearn
- Med det befintliga biblioteket MLxtend
Bra val när du:
- Har provat röstning/medelvärde men resultaten inte möter förväntningarna
- Har byggt modeller som presterar bra i olika situationer
Tack och bra ensemblat!
Ensemblemetoder i Python
