Gradient boosting

Machine Learning avec des modèles à base d’arbres en R

Sandro Raabe

Data Scientist

Récap : boosting

  • Utilise des apprenants faibles (p. ex. arbres de décision à une seule division) un peu meilleurs que le hasard
  • Additionne ces apprenants faibles et écarte les prédictions correctes
  • Traite à chaque étape les observations restantes les plus difficiles

 

  • AdaBoost : premier algorithme de boosting populaire
  • Gradient Boosting : amélioration d'AdaBoost
Machine Learning avec des modèles à base d’arbres en R

Comparaison

Adaboost
  • Utilise des souches de décision comme apprenants faibles
  • Affecte des poids aux observations :
    • Poids élevé pour les observations difficiles
    • Faible poids pour les prédictions correctes
Gradient boosting
  • Utilise de petits arbres de décision comme apprenants faibles
  • Fonction de perte plutôt que des poids
  • Optimisation de la fonction de perte par descente de gradient
Machine Learning avec des modèles à base d’arbres en R

Avantages et limites du boosting

 

Avantages

  • Parmi les meilleurs modèles de machine learning
  • Bonne option pour des données déséquilibrées

 

Inconvénients

  • Sujet au surapprentissage
  • Entraînement potentiellement lent (selon l'hyperparamètre learning rate)
  • De nombreux hyperparamètres à régler
Machine Learning avec des modèles à base d’arbres en R

Hyperparamètres pour le gradient boosting

Déjà vu avec les arbres de décision simples
  • min_n : nombre minimal de points dans un nœud pour autoriser une division supplémentaire
  • tree_depth : profondeur maximale de l'arbre / nombre de divisions
Déjà vu avec les forêts aléatoires et arbres agrégés :
  • sample_size : quantité de données exposées à l'ajustement
  • trees : nombre d'arbres dans l'ensemble
Machine Learning avec des modèles à base d’arbres en R

Hyperparamètres pour le gradient boosting

Déjà vu avec les forêts aléatoires :
  • mtry : nombre de prédicteurs échantillonnés aléatoirement à chaque division
Spécifiques aux arbres boostés :
  • learn_rate : vitesse d'adaptation de l'algorithme de boosting d'une itération à l'autre
  • loss_reduction : réduction de la fonction de perte requise pour diviser davantage
  • stop_iter : nombre d'itérations sans amélioration avant l'arrêt
Machine Learning avec des modèles à base d’arbres en R

Passons à la pratique !

Machine Learning avec des modèles à base d’arbres en R

Preparing Video For Download...