Che cos'è un albero decisionale?

Extreme Gradient Boosting con XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Visualizzare un albero decisionale

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Extreme Gradient Boosting con XGBoost

Alberi decisionali come base learner

  • Base learner: singolo algoritmo di apprendimento in un ensemble
  • Composto da una serie di domande binarie
  • Le previsioni avvengono alle "foglie" dell'albero
Extreme Gradient Boosting con XGBoost

Alberi decisionali e CART

  • Costruito in modo iterativo (una decisione alla volta)
    • Finché non si raggiunge un criterio di arresto
Extreme Gradient Boosting con XGBoost

I singoli alberi decisionali tendono a overfittare

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting con XGBoost

I singoli alberi decisionali tendono a overfittare

1 http://scott.fortmann-roe.com/docs/BiasVariance.html
Extreme Gradient Boosting con XGBoost

CART: Classification and Regression Trees

  • Ogni foglia contiene sempre un punteggio reale
  • Che può poi essere convertito in categorie
Extreme Gradient Boosting con XGBoost

Lavoriamo con qualche albero decisionale!

Extreme Gradient Boosting con XGBoost

Preparing Video For Download...