Mettere insieme tutto con l’ensembling

Metodi Ensemble in Python

Román de las Heras

Data Scientist, Appodeal

Capitolo 1: Voting e Averaging

Voting

  • Combinazione: moda (maggioranza)
  • Classificazione
  • Metodo di ensemble eterogeneo

Averaging

  • Combinazione: media (average)
  • Classificazione e Regressione
  • Metodo di ensemble eterogeneo

Buone scelte quando:

  • Hai costruito più modelli diversi
  • Non sai quale sia il migliore
  • Vuoi migliorare le prestazioni complessive
Metodi Ensemble in Python

Capitolo 2: Bagging

Weak estimator

  • Va solo un po’ meglio del caso
  • Modello leggero e veloce
  • Base per metodi di ensemble omogenei

Bagging (Bootstrap Aggregating)

  • Sotto-campioni casuali con reinserimento
  • Molti stimatori “deboli”
  • Aggregati con Voting o Averaging
  • Metodo di ensemble omogeneo

Buona scelta quando:

  • Vuoi ridurre la varianza
  • Devi evitare overfitting
  • Ti serve più stabilità e robustezza

* Osservazione:

  • Il bagging è costoso computazionalmente
Metodi Ensemble in Python

Capitolo 3: Boosting

Apprendimento graduale

  • Tipo di ensemble omogeneo
  • Basato su apprendimento iterativo
  • Costruzione sequenziale di modelli

Algoritmi di Boosting

  • AdaBoost
  • Gradient Boosting:
    • XGBoost
    • LightGBM
    • CatBoost

Buona scelta quando:

  • Hai problemi complessi
  • Devi usare parallelismo o calcolo distribuito
  • Hai grandi dataset o feature categoriche ad alta dimensionalità
Metodi Ensemble in Python

Capitolo 4: Stacking

Stacking

  • Combinazione: meta-stimatore (modello)
  • Classificazione e Regressione
  • Metodo di ensemble eterogeneo

Implementazione

  • Da zero con pandas e sklearn
  • Con la libreria MLxtend esistente

Buona scelta quando:

  • Hai provato Voting / Averaging ma i risultati non sono come previsto
  • Hai modelli che vanno bene in casi diversi
Metodi Ensemble in Python

Grazie e buon ensemble!

Metodi Ensemble in Python

Preparing Video For Download...