Sélection de modèle : régressions

S’entraîner aux questions d’entretien en Machine Learning avec Python

Lisa Stuart

Data Scientist

Multicollinearité

  • Forte corrélation entre variables indépendantes
  • Coefficients de régression estimés
    • Variation de la VD expliquée par la VI
    • En maintenant les autres variables constantes

Multicollinearité

1 https://eigenblogger.com/2010/03/26/post1426/
S’entraîner aux questions d’entretien en Machine Learning avec Python

Effets de la multicollinearité

  • Coefficients réduits
  • Valeurs p réduites
  • Variance instable
  • Surapprentissage
  • Signification statistique en baisse due à une erreur standard accrue
  • Relation réelle avec la variable cible peu claire
S’entraîner aux questions d’entretien en Machine Learning avec Python

Techniques pour traiter la multicollinearité

  • Matrice de corrélation
  • Heatmap des corrélations
  • Calculer le facteur d’inflation de la variance (VIF)
  • Introduire des pénalisations (Ridge, Lasso)
  • ACP
S’entraîner aux questions d’entretien en Machine Learning avec Python

Matrice de corrélation vs heatmap

Heatmap

S’entraîner aux questions d’entretien en Machine Learning avec Python

Facteur d’inflation de la variance

Valeur VIF Multicollinearité
<= 1 non
> 1 oui, mais peut être ignorée
> 5 oui, à traiter
S’entraîner aux questions d’entretien en Machine Learning avec Python

Fonctions

Fonction/méthode renvoie
sklearn.linear_model.LinearRegression régression linéaire
data.corr() matrice de corrélation
sns.heatmap(corr) heatmap des corrélations
mod.coef_ coefficients estimés du modèle
mean_squared_error(y_test, y_pred) MSE
r2_score(y_test, y_pred) score R²
df.columns noms de colonnes
S’entraîner aux questions d’entretien en Machine Learning avec Python

Passons à la pratique !

S’entraîner aux questions d’entretien en Machine Learning avec Python

Preparing Video For Download...