Qu'est-ce qu'un arbre de décision?

Amorçage de gradient avancé avec XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Visualiser un arbre de décision

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Amorçage de gradient avancé avec XGBoost

Arbres de décision comme apprenants de base

  • Apprenant de base – algorithme individuel dans un ensemble
  • Suite de questions binaires
  • Les prédictions se font aux « feuilles » de l'arbre
Amorçage de gradient avancé avec XGBoost

Arbres de décision et CART

  • Construit de façon itérative (une décision à la fois)
    • Jusqu'à satisfaire un critère d'arrêt
Amorçage de gradient avancé avec XGBoost

Les arbres de décision isolés surajustent souvent

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Amorçage de gradient avancé avec XGBoost

Les arbres de décision isolés surajustent souvent

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Amorçage de gradient avancé avec XGBoost

CART : arbres de classification et de régression

  • Chaque feuille contient toujours un score réel
  • Peut ensuite être converti en catégories
Amorçage de gradient avancé avec XGBoost

Travaillons avec des arbres de décision!

Amorçage de gradient avancé avec XGBoost

Preparing Video For Download...