Ensemble: juntando tudo
Métodos de Ensemble em Python
Román de las Heras
Data Scientist, Appodeal
Capítulo 1: Voting e Averaging
Voting
- Combinação: moda (maioria)
- Classificação
- Método de ensemble heterogêneo
Averaging
- Combinação: média (average)
- Classificação e Regressão
- Método de ensemble heterogêneo
Boas escolhas quando você:
- Treinou vários modelos diferentes
- Não tem certeza de qual é o melhor
- Quer melhorar o desempenho geral
Capítulo 2: Bagging
Estimador fraco
- Desempenha só melhor que o chute aleatório
- Modelo leve e rápido
- Base para métodos de ensemble homogêneos
Bagging (Bootstrap Aggregating)
- Subamostras aleatórias com reposição
- Grande número de estimadores "fracos"
- Agregado por Voting ou Averaging
- Método de ensemble homogêneo
Boa escolha quando você:
- Quer reduzir a variância
- Precisa evitar overfitting
- Precisa de mais estabilidade e robustez
* Observação:
- Bagging é computacionalmente caro
Capítulo 3: Boosting
Aprendizado gradual
- Tipo de método de ensemble homogêneo
- Baseado em aprendizado iterativo
- Construção sequencial de modelos
Algoritmos de Boosting
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Boa escolha quando você:
- Tem problemas complexos
- Precisa aplicar processamento paralelo ou computação distribuída
- Tem grandes conjuntos de dados ou variáveis categóricas de alta dimensão
Capítulo 4: Stacking
Stacking
- Combinação: meta-estimador (modelo)
- Classificação e Regressão
- Método de ensemble heterogêneo
Implementação
- Do zero com pandas e sklearn
- Usando a biblioteca MLxtend
Boa escolha quando você:
- Testou Voting / Averaging mas os resultados não foram os esperados
- Treinou modelos que vão bem em casos diferentes
Obrigado/a e bom ensemble!
Métodos de Ensemble em Python
