Regresi: regularisasi

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Lisa Stuart

Data Scientist

Algoritme regularisasi

  • Regresi Ridge
  • Regresi Lasso
  • Regresi ElasticNet
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Kuadrat terkecil biasa (OLS)

Plot OLS

Rumus OLS

1 https://en.wikipedia.org/wiki/Linear_regression#Simple_and_multiple_linear_regression
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi loss Ridge

Plot regresi Ridge

Rumus regresi Ridge

1 https://gerardnico.com/data_mining/ridge_regression#tuning_parameter_math_lambdamath
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi loss Lasso

Plot regresi Lasso

Rumus regresi Lasso

1 https://stats.stackexchange.com/questions/155192/why-discrepancy-between-lasso-and-randomforest
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Ridge vs Lasso

Regularisasi L1 (Lasso) L2 (Ridge)
menghukum jumlah nilai absolut koefisien jumlah kuadrat koefisien
solusi jarang (sparse) tidak jarang
jumlah solusi banyak satu
seleksi fitur ya tidak
tahan outlier? ya tidak
pola kompleks? tidak ya
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

ElasticNet

Rumus ElasticNet

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Regularisasi pada data perumahan Boston

Fitur CHAS NOX RM
Estimasi koefisien 2.7 -17.8 3.8
Estimasi koefisien teratur 0 0 0.95
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Fungsi regularisasi

# Lasso estimator 
sklearn.linear_model.Lasso

# Lasso estimator with cross-validation
sklearn.linear_model.LassoCV

# Ridge estimator
sklearn.linear_model.Ridge

# Ridge estimator with cross-validation
sklearn.linear_model.RidgeCV

# ElasticNet estimator
sklearn.linear_model.ElasticNet

# ElasticNet estimator with cross-validation
sklearn.linear_model.ElasticNetCV

# Train/test split
sklearn.model_selection.train_test_split

# Mean squared error
sklearn.metrics.mean_squared_error(y_test, 
                           predict(X_test))
# Best regularization parameter
mod_cv.alpha_

# Array of log values
alphas=np.logspace(-6, 6, 13)
Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Ayo berlatih!

Berlatih Pertanyaan Wawancara Machine Learning dengan Python

Preparing Video For Download...