L'intuition derrière les méthodes à base d'arbres

Apprentissage supervisé en R : régression

Nina Zumel and John Mount

Win-Vector, LLC

Exemple : prédire l'intelligence animale selon la durée de gestation et la taille de la portée

Apprentissage supervisé en R : régression

Arbres de décision

Règles de la forme :

  • si a ET b ET c ALORS y

Concepts non linéaires

  • intervalles
  • relations non monotones

interactions non additives

  • ET : similaire à une multiplication
Apprentissage supervisé en R : régression

Arbres de décision

  • SI Litter < 1.15 ET Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • SI Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Apprentissage supervisé en R : régression

Arbres de décision

Avantage : les arbres ont un espace conceptuel expressif

Model RMSE
linear 0.1200419
tree 0.1072732
Apprentissage supervisé en R : régression

Arbres de décision

Inconvénient : prédictions à gros grains

Apprentissage supervisé en R : régression

Difficile pour les arbres d'exprimer des relations linéaires

Les arbres prédisent des régions alignées sur les axes

Chaque couleur correspond à une valeur prédite différente

Apprentissage supervisé en R : régression

Difficile pour les arbres d'exprimer des relations linéaires

Difficile d'exprimer des droites par paliers

Apprentissage supervisé en R : régression

Autres enjeux avec les arbres

  • Arbre avec trop de découpages (arbre profond) :
    • Trop complexe – risque de surapprentissage
  • Arbre avec trop peu de découpages (arbre peu profond) :
    • Prédictions trop grossières
Apprentissage supervisé en R : régression

Ensembles d'arbres

Les ensembles donnent des prédictions plus fines qu'un seul arbre

Apprentissage supervisé en R : régression

Ensembles d'arbres

Un modèle d'ensemble ajuste mieux les données d'intelligence animale qu'un arbre seul

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Apprentissage supervisé en R : régression

Passons à la pratique !

Apprentissage supervisé en R : régression

Preparing Video For Download...