Régression : régularisation

S'exercer aux questions d'entrevue en Machine Learning avec Python

Lisa Stuart

Data Scientist

Algorithmes de régularisation

  • Régression Ridge
  • Régression Lasso
  • Régression ElasticNet
S'exercer aux questions d'entrevue en Machine Learning avec Python

Moindres carrés ordinaires

Graphique MCO

Formule MCO

1 https://en.wikipedia.org/wiki/Linear_regression#Simple_and_multiple_linear_regression
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonction de perte Ridge

Graphique de régression Ridge

Formule de régression Ridge

1 https://gerardnico.com/data_mining/ridge_regression#tuning_parameter_math_lambdamath
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonction de perte Lasso

Graphique de régression Lasso

Formule de régression Lasso

1 https://stats.stackexchange.com/questions/155192/why-discrepancy-between-lasso-and-randomforest
S'exercer aux questions d'entrevue en Machine Learning avec Python

Ridge vs Lasso

Régularisation L1 (Lasso) L2 (Ridge)
pénalise somme des valeurs absolues des coefficients somme des carrés des coefficients
solutions creuses non creuses
nombre de solutions multiples une
sélection de variables oui non
robuste aux valeurs aberrantes ? oui non
motifs complexes ? non oui
S'exercer aux questions d'entrevue en Machine Learning avec Python

ElasticNet

Formule ElasticNet

S'exercer aux questions d'entrevue en Machine Learning avec Python

Régularisation avec les données Boston Housing

Caractéristiques CHAS NOX RM
Estimations des coefficients 2,7 -17,8 3,8
Estimations régularisées des coefficients 0 0 0,95
S'exercer aux questions d'entrevue en Machine Learning avec Python

Fonctions de régularisation

# Lasso estimator 
sklearn.linear_model.Lasso

# Lasso estimator with cross-validation
sklearn.linear_model.LassoCV

# Ridge estimator
sklearn.linear_model.Ridge

# Ridge estimator with cross-validation
sklearn.linear_model.RidgeCV

# ElasticNet estimator
sklearn.linear_model.ElasticNet

# ElasticNet estimator with cross-validation
sklearn.linear_model.ElasticNetCV

# Train/test split
sklearn.model_selection.train_test_split

# Mean squared error
sklearn.metrics.mean_squared_error(y_test, 
                           predict(X_test))
# Best regularization parameter
mod_cv.alpha_

# Array of log values
alphas=np.logspace(-6, 6, 13)
S'exercer aux questions d'entrevue en Machine Learning avec Python

Passons à la pratique !

S'exercer aux questions d'entrevue en Machine Learning avec Python

Preparing Video For Download...