Hồi quy: chuẩn hoá

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python

Lisa Stuart

Data Scientist

Thuật toán chuẩn hoá

Hồi quy Ridge
Hồi quy Lasso
Hồi quy ElasticNet

Bình phương tối thiểu thông thường

Biểu đồ OLS

Công thức OLS

¹ https://en.wikipedia.org/wiki/Linear_regression#Simple_and_multiple_linear_regression

Hàm mất mát Ridge

Biểu đồ hồi quy Ridge

Công thức Ridge

¹ https://gerardnico.com/data_mining/ridge_regression#tuning_parameter_math_lambdamath

Hàm mất mát Lasso

Biểu đồ hồi quy Lasso

Công thức Lasso

¹ https://stats.stackexchange.com/questions/155192/why-discrepancy-between-lasso-and-randomforest

Ridge vs Lasso

Chuẩn hoá	L1 (Lasso)	L2 (Ridge)
phạt	tổng giá trị tuyệt đối hệ số	tổng bình phương hệ số
nghiệm	thưa (sparse)	không thưa
số nghiệm	nhiều	một
chọn đặc trưng	có	không
bền với ngoại lệ?	có	không
mẫu hình phức tạp?	không	có

ElasticNet

Công thức ElasticNet

Chuẩn hoá với dữ liệu nhà ở Boston

Đặc trưng	CHAS	NOX	RM
Ước lượng hệ số	2.7	-17.8	3.8
Hệ số đã chuẩn hoá	0	0	0.95

Hàm cho chuẩn hoá

# Lasso estimator 
sklearn.linear_model.Lasso

# Lasso estimator with cross-validation
sklearn.linear_model.LassoCV

# Ridge estimator
sklearn.linear_model.Ridge

# Ridge estimator with cross-validation
sklearn.linear_model.RidgeCV

# ElasticNet estimator
sklearn.linear_model.ElasticNet

# ElasticNet estimator with cross-validation
sklearn.linear_model.ElasticNetCV

# Train/test split
sklearn.model_selection.train_test_split

# Mean squared error
sklearn.metrics.mean_squared_error(y_test, 
                           predict(X_test))
# Best regularization parameter
mod_cv.alpha_

# Array of log values
alphas=np.logspace(-6, 6, 13)

Ayo berlatih!

Luyện tập câu hỏi phỏng vấn Machine Learning bằng Python