Sélection de modèles : modèles de régression

S'exercer aux questions d'entrevue en Machine Learning avec Python

Lisa Stuart

Data Scientist

Multicolinéarité

  • Forte corrélation entre variables indépendantes
  • Coefficients de régression estimés
    • Variation de la VD expliquée par la VI
    • En gardant les autres variables constantes

Multicolinéarité

1 https://eigenblogger.com/2010/03/26/post1426/
S'exercer aux questions d'entrevue en Machine Learning avec Python

Effets de la multicolinéarité

  • Réduction des coefficients
  • Réduction des valeurs p
  • Variance instable
  • Surapprentissage
  • Signification statistique en baisse à cause d'un écart-type accru
  • Lien réel avec la variable cible incertain
S'exercer aux questions d'entrevue en Machine Learning avec Python

Techniques pour traiter la multicolinéarité

  • Matrice de corrélation
  • Carte thermique des corrélations
  • Calculer le facteur d'inflation de la variance (VIF)
  • Ajouter des pénalisations (Ridge, Lasso)
  • ACP
S'exercer aux questions d'entrevue en Machine Learning avec Python

Matrice de corrélation vs carte thermique

Carte thermique

S'exercer aux questions d'entrevue en Machine Learning avec Python

Facteur d'inflation de la variance

Valeur VIF Multicolinéarité
<= 1 non
> 1 oui, peut être ignorée
> 5 oui, à traiter
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonctions

Fonction/méthode renvoie
sklearn.linear_model.LinearRegression Régression linéaire
data.corr() matrice de corrélation
sns.heatmap(corr) carte thermique des corrélations
mod.coef_ coefficients du modèle estimés
mean_squared_error(y_test, y_pred) MSE
r2_score(y_test, y_pred) score R-carré
df.columns noms de colonnes
S'exercer aux questions d'entrevue en Machine Learning avec Python

Passons à la pratique !

S'exercer aux questions d'entrevue en Machine Learning avec Python

Preparing Video For Download...