Transformer les entrées avant la modélisation

Apprentissage supervisé en R : régression

Nina Zumel and John Mount

Win-Vector LLC

Pourquoi transformer les variables d'entrée

  • Connaissances du domaine/variables synthétiques
    • $Intelligence \sim \frac{mass.brain}{mass.body^{2/3}}$
Apprentissage supervisé en R : régression

Pourquoi transformer les variables d'entrée

  • Connaissances du domaine/variables synthétiques
    • $Intelligence \sim \frac{mass.brain}{mass.body^{2/3}}$
  • Raisons pragmatiques
    • Transformation logarithmique pour réduire l'étendue dynamique
    • Transformation logarithmique si les variations pertinentes sont multiplicatives
Apprentissage supervisé en R : régression

Pourquoi transformer les variables d'entrée

  • Connaissances du domaine/variables synthétiques
    • $Intelligence \sim \frac{mass.brain}{mass.body^{2/3}}$
  • Raisons pragmatiques
    • Transformation logarithmique pour réduire l'étendue dynamique
    • Transformation logarithmique si les variations pertinentes sont multiplicatives
    • $y$ est approximativement linéaire en $f(x)$ plutôt qu'en $x$
Apprentissage supervisé en R : régression

Exemple : prédire l'anxiété

Apprentissage supervisé en R : régression

Transformer la variable hassles

Apprentissage supervisé en R : régression

Plusieurs ajustements possibles

Quel est le meilleur ?

  • anx ~ I(hassles^2)
  • anx ~ I(hassles^3)
  • anx ~ I(hassles^2) + I(hassles^3)
  • anx ~ exp(hassles)
  • ...

I() : traiter une expression littéralement (pas comme une interaction)

Apprentissage supervisé en R : régression

Comparer différents modèles

Modèles linéaire, quadratique et cubique

mod_lin <- lm(anx ~ hassles, hassleframe)
summary(mod_lin)$r.squared

0.5334847

mod_quad <- lm(anx ~ I(hassles^2), hassleframe)
summary(mod_quad)$r.squared

0.6241029

mod_tritic <- lm(anx ~ I(hassles^3), hassleframe)
summary(mod_tritic)$r.squared

0.6474421
Apprentissage supervisé en R : régression

Comparer différents modèles

Utilisez la validation croisée pour évaluer les modèles

Modèle RMSE
Linéaire ($hassles$) 7.69
Quadratique ($hassles^2$) 6.89
Cubique ($hassles^3$) 6.70
Apprentissage supervisé en R : régression

Passons à la pratique !

Apprentissage supervisé en R : régression

Preparing Video For Download...