Bootstrap aggregating

Métodos de Ensemble em Python

Román de las Heras

Data Scientist, Appodeal

Conjuntos heterogêneos vs homogêneos

Heterogêneos:

  • Algoritmos diferentes (ajustados)
  • Poucos estimadores
  • Voting, Averaging e Stacking

Homogêneos:

  • Mesmo algoritmo (modelo "fraco")
  • Muitos estimadores
  • Bagging e Boosting
Métodos de Ensemble em Python

Teorema do Júri de Condorcet

Requisitos:

  • Modelos são independentes
  • Cada modelo é melhor que um palpite aleatório
  • Todos os modelos têm desempenho similar

Conclusão: Adicionar mais modelos melhora o desempenho do conjunto (Voting ou Averaging), aproximando-se de 1 (100%)

Condorcet Marquês de Condorcet, filósofo e matemático francês

Métodos de Ensemble em Python

Bootstrapping

Bootstrapping exige:

  • Subamostras aleatórias
  • Com reposição

Bootstrapping garante:

  • Multidão diversa: conjuntos de dados diferentes
  • Independentes: amostrados separadamente

Bagging.png

Métodos de Ensemble em Python

Prós e contras do bagging

Prós

  • Bagging geralmente reduz a variância
  • O próprio conjunto pode evitar overfitting
  • Mais estabilidade e robustez

Contras

  • Alto custo computacional
Métodos de Ensemble em Python

Vamos praticar!

Métodos de Ensemble em Python

Preparing Video For Download...