Introduction au boosting

Machine Learning avec des modèles à base d’arbres en R

Sandro Raabe

Data Scientist

classifieur unique

Machine Learning avec des modèles à base d’arbres en R

bagging ou random forest

Machine Learning avec des modèles à base d’arbres en R

boosting 1

Machine Learning avec des modèles à base d’arbres en R

boosting 2

Machine Learning avec des modèles à base d’arbres en R

boosting 3

Machine Learning avec des modèles à base d’arbres en R

boosting 4

Machine Learning avec des modèles à base d’arbres en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés lors des entraînements suivants

visualisation adaboost 1

Machine Learning avec des modèles à base d’arbres en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés lors des entraînements suivants

visualisation adaboost 2

Machine Learning avec des modèles à base d’arbres en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés lors des entraînements suivants

visualisation adaboost 3

Machine Learning avec des modèles à base d’arbres en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés lors des entraînements suivants

visualisation adaboost 4

  • Amélioré par l'ajout de gradient descent
Machine Learning avec des modèles à base d’arbres en R

Coder : définir un ensemble boosté

# Specify the model class
boost_tree() %>%

    # Set the mode
    set_mode("classification") %>%

    # Set the engine
    set_engine("xgboost")

Boosted Tree Model Specification (classification)

Computational engine: xgboost
  • Interface simple vers le boosting avec tidymodels !
Machine Learning avec des modèles à base d’arbres en R

Boostons !

Machine Learning avec des modèles à base d’arbres en R

Preparing Video For Download...