Regression: regularisering

Öva på maskininlärningsintervjufrågor i Python

Lisa Stuart

Data Scientist

Regulariseringsalgoritmer

Ridge-regression
Lasso-regression
ElasticNet-regression

Minsta kvadratmetoden

OLS-diagram

OLS-formel

¹ https://en.wikipedia.org/wiki/Linear_regression#Simple_and_multiple_linear_regression

Ridge-förlustfunktion

Ridge-regressionsdiagram

Ridge-regressionsformel

¹ https://gerardnico.com/data_mining/ridge_regression#tuning_parameter_math_lambdamath

Lasso-förlustfunktion

Lasso-regressionsdiagram

Lasso-regressionsformel

¹ https://stats.stackexchange.com/questions/155192/why-discrepancy-between-lasso-and-randomforest

Ridge vs. Lasso

Regularisering	L1 (Lasso)	L2 (Ridge)
penaliserar	summan av absolutvärdet av koefficienterna	summan av kvadraterna av koefficienterna
lösningar	glesa	icke-glesa
antal lösningar	flera	en
särdragsval	ja	nej
robust mot avvikare?	ja	nej
komplexa mönster?	nej	ja

ElasticNet

ElasticNet-formel

Regularisering med Boston-bostadsdata

Särdrag	CHAS	NOX	RM
Koefficientskattar	2,7	-17,8	3,8
Regulariserade koefficientskattar	0	0	0,95

Regulariseringsfunktioner

# Lasso estimator 
sklearn.linear_model.Lasso

# Lasso estimator with cross-validation
sklearn.linear_model.LassoCV

# Ridge estimator
sklearn.linear_model.Ridge

# Ridge estimator with cross-validation
sklearn.linear_model.RidgeCV

# ElasticNet estimator
sklearn.linear_model.ElasticNet

# ElasticNet estimator with cross-validation
sklearn.linear_model.ElasticNetCV

# Train/test split
sklearn.model_selection.train_test_split

# Mean squared error
sklearn.metrics.mean_squared_error(y_test, 
                           predict(X_test))
# Best regularization parameter
mod_cv.alpha_

# Array of log values
alphas=np.logspace(-6, 6, 13)

Nu kör vi en övning!

Öva på maskininlärningsintervjufrågor i Python