Les bases de la régression linéaire

Apprentissage supervisé avec scikit-learn

George Boorman

Core Curriculum Manager, DataCamp

Mécanique de la régression

  • $y = ax + b$

    • La régression linéaire simple utilise une seule caractéristique

      • $y$ = cible

      • $x$ = caractéristique unique

      • $a$, $b$ = paramètres/coefficient­s du modèle : pente, ordonnée à l'origine

  • Comment choisir $a$ et $b$ ?

    • Définir une fonction d'erreur pour toute droite donnée

    • Choisir la droite qui minimise cette fonction

  • Fonction d'erreur = fonction de perte = fonction de coût

Apprentissage supervisé avec scikit-learn

La fonction de perte

nuage de points

Apprentissage supervisé avec scikit-learn

La fonction de perte

droite de régression de bas gauche à haut droit, passant au milieu des observations

Apprentissage supervisé avec scikit-learn

La fonction de perte

lignes rouges de la droite de régression à chaque observation

Apprentissage supervisé avec scikit-learn

La fonction de perte

les lignes rouges représentent les résidus

Apprentissage supervisé avec scikit-learn

La fonction de perte

flèche indiquant un résidu positif, l'observation étant au-dessus de la droite de régression

Apprentissage supervisé avec scikit-learn

Moindres carrés ordinaires

deuxième flèche pointant vers un résidu sous la droite de régression, représentant un résidu négatif

$RSS = $ $\displaystyle\sum_{i=1}^{n}(y_i-\hat{y_i})^2$

Moindres carrés ordinaires (OLS) : minimiser le RSS

Apprentissage supervisé avec scikit-learn

Régression linéaire en dimensions supérieures

$$ y = a_{1}x_{1} + a_{2}x_{2} + b$$

  • Pour ajuster un modèle de régression linéaire ici :
    • Spécifier 3 variables : $ a_1,\ a_2,\ b $
  • En dimensions supérieures :
    • Appelé régression multiple
    • Doit spécifier un coefficient par caractéristique et la variable $b$

$$ y = a_{1}x_{1} + a_{2}x_{2} + a_{3}x_{3} +... + a_{n}x_{n}+ b$$

  • scikit-learn fonctionne de la même façon :
    • Transmettre deux tableaux : caractéristiques et cible
Apprentissage supervisé avec scikit-learn

Régression linéaire avec toutes les caractéristiques

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
                                                    random_state=42)

reg_all = LinearRegression()

reg_all.fit(X_train, y_train)

y_pred = reg_all.predict(X_test)
Apprentissage supervisé avec scikit-learn

R au carré

  • $R^2$ : part de variance de la cible expliquée par les caractéristiques

    • Valeurs de 0 à 1

  • $R^2$ élevé :

droite de régression à 45 degrés de bas gauche à haut droit, près de toutes les observations

 

 

  • $R^2$ faible :

droite de régression horizontale, observations très dispersées autour de la ligne

Apprentissage supervisé avec scikit-learn

R au carré dans scikit-learn

reg_all.score(X_test, y_test)

0.356302876407827
Apprentissage supervisé avec scikit-learn

Erreur quadratique moyenne et sa racine carrée

$MSE = $ $\displaystyle\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y_i})^2$

  • Le $MSE$ se mesure en unités de la cible, au carré

 

$RMSE = $ $\sqrt{MSE}$

  • Le $RMSE$ se mesure dans les mêmes unités que la variable cible
Apprentissage supervisé avec scikit-learn

RMSE dans scikit-learn

from sklearn.metrics import root_mean_squared_error


root_mean_squared_error(y_test, y_pred)

24.028109426907236
Apprentissage supervisé avec scikit-learn

Passons à la pratique !

Apprentissage supervisé avec scikit-learn

Preparing Video For Download...