L'intuition derrière les méthodes à base d'arbres

Apprentissage supervisé en R : Régression

Nina Zumel and John Mount

Win-Vector, LLC

Exemple : prédire l'intelligence animale à partir de la durée de gestation et de la taille des portées

Apprentissage supervisé en R : Régression

Arbres de décision

Règles de la forme :

  • si a AND b AND c ALORS y

Concepts non linéaires

  • intervalles
  • relations non monotones

interactions non additives

  • AND : similaire à une multiplication
Apprentissage supervisé en R : Régression

Arbres de décision

  • SI Litter < 1.15 ET Gestation $\ge$ 268 $\rightarrow$ intelligence = 0.315
  • SI Litter IN [1.15, 4.3) $\rightarrow$ intelligence = 0.131
Apprentissage supervisé en R : Régression

Arbres de décision

Atout : les arbres ont un espace de concepts expressif

Model RMSE
linear 0.1200419
tree 0.1072732
Apprentissage supervisé en R : Régression

Arbres de décision

Limite : prédictions grossières

Apprentissage supervisé en R : Régression

Difficile pour les arbres d'exprimer des relations linéaires

Les arbres prédisent des régions alignées sur les axes

Chaque couleur correspond à une valeur prédite différente

Apprentissage supervisé en R : Régression

Difficile pour les arbres d'exprimer des relations linéaires

Difficile d'exprimer des droites avec des paliers

Apprentissage supervisé en R : Régression

Autres limites des arbres

  • Arbre avec trop de coupures (arbre profond) :
    • Trop complexe – risque de surapprentissage
  • Arbre avec trop peu de coupures (arbre peu profond) :
    • Prédictions trop grossières
Apprentissage supervisé en R : Régression

Ensembles d'arbres

Les ensembles donnent des prédictions plus fines qu'un arbre seul

Apprentissage supervisé en R : Régression

Ensembles d'arbres

Un modèle d'ensemble ajuste mieux les données d'intelligence animale qu'un arbre seul

Model RMSE
linear 0.1200419
tree 0.1072732
random forest 0.0901681
Apprentissage supervisé en R : Régression

Passons à la pratique !

Apprentissage supervisé en R : Régression

Preparing Video For Download...