Mettere insieme tutto con l’ensembling
Metodi Ensemble in Python
Román de las Heras
Data Scientist, Appodeal
Capitolo 1: Voting e Averaging
Voting
- Combinazione: moda (maggioranza)
- Classificazione
- Metodo di ensemble eterogeneo
Averaging
- Combinazione: media (average)
- Classificazione e Regressione
- Metodo di ensemble eterogeneo
Buone scelte quando:
- Hai costruito più modelli diversi
- Non sai quale sia il migliore
- Vuoi migliorare le prestazioni complessive
Capitolo 2: Bagging
Weak estimator
- Va solo un po’ meglio del caso
- Modello leggero e veloce
- Base per metodi di ensemble omogenei
Bagging (Bootstrap Aggregating)
- Sotto-campioni casuali con reinserimento
- Molti stimatori “deboli”
- Aggregati con Voting o Averaging
- Metodo di ensemble omogeneo
Buona scelta quando:
- Vuoi ridurre la varianza
- Devi evitare overfitting
- Ti serve più stabilità e robustezza
* Osservazione:
- Il bagging è costoso computazionalmente
Capitolo 3: Boosting
Apprendimento graduale
- Tipo di ensemble omogeneo
- Basato su apprendimento iterativo
- Costruzione sequenziale di modelli
Algoritmi di Boosting
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Buona scelta quando:
- Hai problemi complessi
- Devi usare parallelismo o calcolo distribuito
- Hai grandi dataset o feature categoriche ad alta dimensionalità
Capitolo 4: Stacking
Stacking
- Combinazione: meta-stimatore (modello)
- Classificazione e Regressione
- Metodo di ensemble eterogeneo
Implementazione
- Da zero con pandas e sklearn
- Con la libreria MLxtend esistente
Buona scelta quando:
- Hai provato Voting / Averaging ma i risultati non sono come previsto
- Hai modelli che vanno bene in casi diversi
Grazie e buon ensemble!
Metodi Ensemble in Python
