Introduction au boosting

Machine Learning avec des modèles arborescents en R

Sandro Raabe

Data Scientist

classificateur unique

Machine Learning avec des modèles arborescents en R

bagging ou forêt aléatoire

Machine Learning avec des modèles arborescents en R

boosting 1

Machine Learning avec des modèles arborescents en R

boosting 2

Machine Learning avec des modèles arborescents en R

boosting 3

Machine Learning avec des modèles arborescents en R

boosting 4

Machine Learning avec des modèles arborescents en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés aux itérations suivantes

visualisation d'Adaboost 1

Machine Learning avec des modèles arborescents en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés aux itérations suivantes

visualisation d'Adaboost 2

Machine Learning avec des modèles arborescents en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés aux itérations suivantes

visualisation d'Adaboost 3

Machine Learning avec des modèles arborescents en R

Adaboost

  • Premier algorithme de boosting célèbre : Adaboost = Adaptive Boosting
  • Idée : modifier le poids des exemples d'entraînement mal classés aux itérations suivantes

visualisation d'Adaboost 4

  • Amélioré avec la descente de gradient
Machine Learning avec des modèles arborescents en R

Coder : définir un ensemble boosté

# Specify the model class
boost_tree() %>%

    # Set the mode
    set_mode("classification") %>%

    # Set the engine
    set_engine("xgboost")

Boosted Tree Model Specification (classification)

Computational engine: xgboost
  • Interface simple pour le boosting avec tidymodels !
Machine Learning avec des modèles arborescents en R

Lançons le boosting !

Machine Learning avec des modèles arborescents en R

Preparing Video For Download...