การถดถอยเชิงเส้นแบบ Regularized

การลดมิติข้อมูลใน Python

Jeroen Boeye

Head of Machine Learning, Faktion

แนวคิดโมเดลเชิงเส้น

ฟีเจอร์สู่เป้าหมาย

การกระจายของ 3 ฟีเจอร์

การกระจายของ 3 ฟีเจอร์

สร้างฟีเจอร์เป้าหมายของเราเอง:

$y = 20 + 5x_1 + 2x_2 + 0x_3 + error$

from sklearn.linear_model import LinearRegression

lr = LinearRegression()
lr.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(lr.coef_)

[ 4.95  1.83 -0.05]

# Actual intercept = 20
print(lr.intercept_)

19.8

# Calculates R-squared
print(lr.score(X_test, y_test))

0.976

from sklearn.linear_model import LinearRegression

lr = LinearRegression()
lr.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(lr.coef_)

[ 4.95  1.83 -0.05]

ค่าพยากรณ์เทียบกับค่าจริง

ค่าพยากรณ์เทียบกับค่าจริงพร้อม MSE

ค่าพยากรณ์เทียบกับค่าจริงพร้อม MSE และสูตร

ค่าพยากรณ์เทียบกับค่าจริงพร้อม MSE สูตร และคำอธิบาย

ค่าพยากรณ์เทียบกับค่าจริงพร้อม MSE สูตร และ alpha

from sklearn.linear_model import Lasso

la = Lasso()
la.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(la.coef_)

[4.07 0.59 0.  ]

print(la.score(X_test, y_test))

0.861

from sklearn.linear_model import Lasso

la = Lasso(alpha=0.05)
la.fit(X_train, y_train)

# Actual coefficients = [5 2 0]
print(la.coef_)

[ 4.91  1.76 0.  ]

print(la.score(X_test, y_test))

0.974

การลดมิติข้อมูลใน Python