Juntándolo todo con ensambles
Ensemble Methods in Python
Román de las Heras
Data Scientist, Appodeal
Capítulo 1: Voting y Averaging
Voting
- Combinación: moda (mayoría)
- Clasificación
- Método de ensamble heterogéneo
Averaging
- Combinación: media (promedio)
- Clasificación y regresión
- Método de ensamble heterogéneo
Buenas opciones cuando:
- Has entrenado varios modelos distintos
- No tienes claro cuál es el mejor
- Quieres mejorar el rendimiento global
Capítulo 2: Bagging
Estimador débil
- Rinde solo mejor que adivinar al azar
- Modelo ligero y rápido
- Base para métodos de ensamble homogéneos
Bagging (Bootstrap Aggregating)
- Submuestras aleatorias con reemplazo
- Gran número de estimadores «débiles»
- Agregado con Voting o Averaging
- Método de ensamble homogéneo
Buena opción cuando:
- Quieres reducir la varianza
- Necesitas evitar el sobreajuste
- Buscas más estabilidad y robustez
* Observación:
- Bagging es costoso computacionalmente
Capítulo 3: Boosting
Aprendizaje gradual
- Tipo de método de ensamble homogéneo
- Basado en aprendizaje iterativo
- Construcción secuencial de modelos
Algoritmos de Boosting
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Buena opción cuando:
- Tienes problemas complejos
- Necesitas aplicar procesamiento en paralelo o computación distribuida
- Manejas grandes conjuntos de datos o variables categóricas de alta dimensión
Capítulo 4: Stacking
Stacking
- Combinación: metaestimador (modelo)
- Clasificación y regresión
- Método de ensamble heterogéneo
Implementación
- Desde cero con pandas y sklearn
- Usando la librería existente MLxtend
Buena opción cuando:
- Has probado Voting / Averaging pero los resultados no cumplen lo esperado
- Has creado modelos que rinden bien en casos distintos
¡Gracias y buen ensamble!
Ensemble Methods in Python
