Bootstrap aggregating

Ensemblemetoder i Python

Román de las Heras

Data Scientist, Appodeal

Heterogena vs homogena ensembler

Heterogena:

  • Olika algoritmer (finjusterade)
  • Få estimatorer
  • Röstning, medelvärde och stacking

Homogena:

  • Samma algoritm ("svag" modell)
  • Många estimatorer
  • Bagging och boosting
Ensemblemetoder i Python

Condorcets juryteorem

Krav:

  • Modellerna är oberoende
  • Varje modell presterar bättre än slumpen
  • Alla enskilda modeller har liknande prestanda

Slutsats: Fler modeller förbättrar ensemblens prestanda (röstning eller medelvärde), och denna närmar sig 1 (100 %)

Condorcet Markis de Condorcet, fransk filosof och matematiker

Ensemblemetoder i Python

Bootstrapping

Bootstrapping kräver:

  • Slumpmässiga delurval
  • Sampling med återläggning

Bootstrapping garanterar:

  • Mångfald: olika datamängder
  • Oberoende: samplas separat

Bagging.png

Ensemblemetoder i Python

För- och nackdelar med bagging

Fördelar

  • Bagging minskar vanligtvis variansen
  • Ensemblen kan själv undvika överanpassning
  • Ökad stabilitet och robusthet

Nackdelar

  • Beräkningskrävande
Ensemblemetoder i Python

Nu kör vi en övning!

Ensemblemetoder i Python

Preparing Video For Download...