Hồi quy tuyến tính có điều chuẩn

Giảm Chiều Dữ Liệu với Python

Jeroen Boeye

Head of Machine Learning, Faktion

Khái niệm mô hình tuyến tính

đặc trưng đến mục tiêu

3 phân phối đặc trưng

3 phân phối đặc trưng

Tạo biến mục tiêu của riêng ta:

$y = 20 + 5x_1 + 2x_2 + 0x_3 + error$

from sklearn.linear_model import LinearRegression

lr = LinearRegression()
lr.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(lr.coef_)

[ 4.95  1.83 -0.05]

# Actual intercept = 20
print(lr.intercept_)

19.8

# Calculates R-squared
print(lr.score(X_test, y_test))

0.976

from sklearn.linear_model import LinearRegression

lr = LinearRegression()
lr.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(lr.coef_)

[ 4.95  1.83 -0.05]

dự đoán so với thực tế

dự đoán so với thực tế với MSE

dự đoán so với thực tế với MSE + công thức

dự đoán so với thực tế với MSE + công thức + chú thích

dự đoán so với thực tế với MSE + công thức + alpha

from sklearn.linear_model import Lasso

la = Lasso()
la.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(la.coef_)

[4.07 0.59 0.  ]

print(la.score(X_test, y_test))

0.861

from sklearn.linear_model import Lasso

la = Lasso(alpha=0.05)
la.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(la.coef_)

[ 4.91  1.76 0.  ]

print(la.score(X_test, y_test))

0.974

Giảm Chiều Dữ Liệu với Python