Bootstrap aggregating

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Conjuntos heterogéneos vs homogéneos

Heterogéneos:

  • Algoritmos distintos (ajustados)
  • Pocos estimadores
  • Voting, Averaging y Stacking

Homogéneos:

  • Mismo algoritmo (modelo «débil»)
  • Muchos estimadores
  • Bagging y Boosting
Ensemble Methods in Python

Teorema del jurado de Condorcet

Requisitos:

  • Modelos independientes
  • Cada modelo rinde mejor que al azar
  • Rendimiento similar entre modelos

Conclusión: Añadir más modelos mejora el rendimiento del conjunto (Voting o Averaging) y se acerca a 1 (100 %)

Condorcet Marqués de Condorcet, filósofo y matemático francés

Ensemble Methods in Python

Bootstrapping

El bootstrapping requiere:

  • Submuestras aleatorias
  • Con reemplazo

El bootstrapping garantiza:

  • Multitud diversa: conjuntos de datos distintos
  • Independencia: muestreo por separado

Bagging.png

Ensemble Methods in Python

Pros y contras de bagging

Pros

  • Bagging suele reducir la varianza
  • El propio conjunto puede evitar el sobreajuste
  • Más estabilidad y robustez

Contras

  • Es computacionalmente costoso
Ensemble Methods in Python

¡Vamos a practicar!

Ensemble Methods in Python

Preparing Video For Download...