Bootstrap aggregating

Metodi Ensemble in Python

Román de las Heras

Data Scientist, Appodeal

Ensemble eterogenei vs omogenei

Eterogenei:

  • Algoritmi diversi (ottimizzati)
  • Pochi stimatori
  • Voting, Averaging e Stacking

Omogenei:

  • Stesso algoritmo (modello “debole”)
  • Molti stimatori
  • Bagging e Boosting
Metodi Ensemble in Python

Teorema della giuria di Condorcet

Requisiti:

  • Modelli indipendenti
  • Ogni modello è meglio del caso
  • Prestazioni simili tra i modelli

Conclusione: Aggiungere modelli migliora la performance dell’ensemble (Voting o Averaging) e si avvicina a 1 (100%)

Condorcet Marchese de Condorcet, filosofo e matematico francese

Metodi Ensemble in Python

Bootstrapping

Il bootstrapping richiede:

  • Sotto-campioni casuali
  • Campionamento con reinserimento

Il bootstrapping garantisce:

  • Varietà: dataset diversi
  • Indipendenza: campionati separatamente

Bagging.png

Metodi Ensemble in Python

Pro e contro del bagging

Pro

  • Il bagging di solito riduce la varianza
  • L’ensemble può evitare l’overfitting
  • Più stabilità e robustezza

Contro

  • È costoso in termini computazionali
Metodi Ensemble in Python

È il momento di fare pratica!

Metodi Ensemble in Python

Preparing Video For Download...