R carré ($R^2$)

Apprentissage supervisé en R : régression

Nina Zumel and John Mount

Win-Vector LLC

Qu'est-ce que $R^2$ ?

Mesure l'ajustement du modèle aux données

Valeur entre 0 et 1
- près de 1 : bon ajustement
- près de 0 : pas mieux que deviner la moyenne

Calcul de $R^2$

$R^2$, c'est la variance expliquée par le modèle.

$$ R^2 = 1 - \frac{RSS}{SS_{Tot}} $$

où

$RSS = \sum{(y - prediction)^2}$
- Somme des carrés des résidus (variance due au modèle)
$SS_{Tot} = \sum{(y - \overline{y})^2}$
- Somme totale des carrés (variance des données)

Calculer le $R^2$ du modèle de prix des maisons : RSS

Calculer l'erreur

err <- houseprices$prediction - houseprices$price

L'élever au carré et sommer

rss <- sum(err^2)

price : colonne des prix de vente réels (en milliers)
pred : colonne des prix de vente prévus (en milliers)
$RSS \approx$ 136138

Calculer le $R^2$ du modèle de prix des maisons : $SS_{Tot}$

Soustraire la moyenne des prix

toterr <- houseprices$price - mean(houseprices$price)

Élever au carré et sommer

sstot <- sum(toterr^2)

$RSS \approx$ 136138
$SS_{Tot} \approx$ 713615

Calculer le $R^2$ du modèle de prix des maisons

(r_squared <- 1 - (rss/sstot) )

0.8092278

$RSS \approx$ 136138
$SS_{Tot} \approx$ 713615
$R^2 \approx$ 0.809

Lire $R^2$ à partir du modèle lm()

# From summary()
summary(hmodel)

...
Residual standard error: 60.66 on 37 degrees of freedom
Multiple R-squared:  0.8092, Adjusted R-squared:  0.7989 
F-statistic: 78.47 on 2 and 37 DF,  p-value: 4.893e-14

summary(hmodel)$r.squared

0.8092278

# From glance()
glance(hmodel)$r.squared

0.8092278

Corrélation et $R^2$

rho <- cor(houseprices$prediction, houseprices$price)

0.8995709

rho^2

0.8092278

$\rho$ = cor(prediction, price) = 0.8995709
$\rho^2$ = 0.8092278 = $R^2$

Corrélation et $R^2$

Vrai pour les modèles qui minimisent l'erreur quadratique :
- Régression linéaire
- Régression GAM
- Algorithmes arborescents qui minimisent l'erreur quadratique
Vrai sur les données d'entraînement ; FAUX sur de nouvelles données

Passons à la pratique !

Apprentissage supervisé en R : régression