Regresie: regularizare

Exersează întrebări de interviu pentru Machine Learning în Python

Lisa Stuart

Data Scientist

Algoritmi de regularizare

  • Regresie Ridge
  • Regresie Lasso
  • Regresie ElasticNet
Exersează întrebări de interviu pentru Machine Learning în Python

Metoda celor mai mici pătrate

Grafic OLS

Formulă OLS

1 https://en.wikipedia.org/wiki/Linear_regression#Simple_and_multiple_linear_regression
Exersează întrebări de interviu pentru Machine Learning în Python

Funcția de pierdere Ridge

Grafic regresie Ridge

Formulă regresie Ridge

1 https://gerardnico.com/data_mining/ridge_regression#tuning_parameter_math_lambdamath
Exersează întrebări de interviu pentru Machine Learning în Python

Funcția de pierdere Lasso

Grafic regresie Lasso

Formulă regresie Lasso

1 https://stats.stackexchange.com/questions/155192/why-discrepancy-between-lasso-and-randomforest
Exersează întrebări de interviu pentru Machine Learning în Python

Ridge vs. Lasso

Regularizare L1 (Lasso) L2 (Ridge)
penalizează suma valorilor absolute ale coeficienților suma pătratelor coeficienților
soluții sparse non-sparse
număr de soluții multiple una
selecție caracteristici da nu
robust la valori extreme? da nu
tipare complexe? nu da
Exersează întrebări de interviu pentru Machine Learning în Python

ElasticNet

Formulă ElasticNet

Exersează întrebări de interviu pentru Machine Learning în Python

Regularizare cu datele Boston housing

Caracteristici CHAS NOX RM
Estimări coeficienți 2.7 -17.8 3.8
Estimări coeficienți regularizați 0 0 0.95
Exersează întrebări de interviu pentru Machine Learning în Python

Funcții de regularizare

# Lasso estimator 
sklearn.linear_model.Lasso

# Lasso estimator with cross-validation
sklearn.linear_model.LassoCV

# Ridge estimator
sklearn.linear_model.Ridge

# Ridge estimator with cross-validation
sklearn.linear_model.RidgeCV

# ElasticNet estimator
sklearn.linear_model.ElasticNet

# ElasticNet estimator with cross-validation
sklearn.linear_model.ElasticNetCV

# Train/test split
sklearn.model_selection.train_test_split

# Mean squared error
sklearn.metrics.mean_squared_error(y_test, 
                           predict(X_test))
# Best regularization parameter
mod_cv.alpha_

# Array of log values
alphas=np.logspace(-6, 6, 13)
Exersează întrebări de interviu pentru Machine Learning în Python

Să exersăm!

Exersează întrebări de interviu pentru Machine Learning în Python

Preparing Video For Download...