Introdução a boosting

Machine Learning com modelos baseados em árvores em R

Sandro Raabe

Data Scientist

classificador único

Machine Learning com modelos baseados em árvores em R

bagging ou random forest

Machine Learning com modelos baseados em árvores em R

boosting 1

Machine Learning com modelos baseados em árvores em R

boosting 2

Machine Learning com modelos baseados em árvores em R

boosting 3

Machine Learning com modelos baseados em árvores em R

boosting 4

Machine Learning com modelos baseados em árvores em R

Adaboost

  • Primeiro algoritmo de boosting famoso: Adaboost = Adaptive Boosting
  • Ideia: mudar o peso dos exemplos treinados classificados incorretamente nos treinamentos seguintes

visualização do adaboost 1

Machine Learning com modelos baseados em árvores em R

Adaboost

  • Primeiro algoritmo de boosting famoso: Adaboost = Adaptive Boosting
  • Ideia: mudar o peso dos exemplos treinados classificados incorretamente nos treinamentos seguintes

visualização do adaboost 2

Machine Learning com modelos baseados em árvores em R

Adaboost

  • Primeiro algoritmo de boosting famoso: Adaboost = Adaptive Boosting
  • Ideia: mudar o peso dos exemplos treinados classificados incorretamente nos treinamentos seguintes

visualização do adaboost 3

Machine Learning com modelos baseados em árvores em R

Adaboost

  • Primeiro algoritmo de boosting famoso: Adaboost = Adaptive Boosting
  • Ideia: mudar o peso dos exemplos treinados classificados incorretamente nos treinamentos seguintes

visualização do adaboost 4

  • Melhorado com gradient descent
Machine Learning com modelos baseados em árvores em R

Codando: Especificar um ensemble com boosting

# Specify the model class
boost_tree() %>%

    # Set the mode
    set_mode("classification") %>%

    # Set the engine
    set_engine("xgboost")

Boosted Tree Model Specification (classification)

Computational engine: xgboost
  • Interface fácil para boosting com tidymodels!
Machine Learning com modelos baseados em árvores em R

Vamos praticar!

Machine Learning com modelos baseados em árvores em R

Preparing Video For Download...