Tối ưu bình phương tối thiểu

Nhập môn Mô hình tuyến tính với Python

Jason Vestuto

Data Scientist

Cực tiểu của RSS

Đồ thị giá trị RSS trên trục y theo hệ số góc trên trục x, có dạng parabol úp ngược/chiếc giếng, đạt cực tiểu ở đáy gần slope=25

Đặt đạo hàm RSS theo slope = 0 và dùng một chút giải tích, ta được:

  • $a_1 = covariance(x, y) / variance(x) $
  • $a_0 = mean(y) - a_1 \times mean(x) $
Nhập môn Mô hình tuyến tính với Python

Tối ưu bằng Numpy

Biểu thức Numpy cho hệ số góc và chặn tối ưu

x_mean = np.mean(x)
y_mean = np.mean(y)

x_dev = x - x_mean
y_dev = y - y_mean

a1 = np.sum( x_dev * y_dev ) / np.sum( x_dev**2 )

a0 = y_mean - (a1*x_mean)
Nhập môn Mô hình tuyến tính với Python

Tối ưu bằng Scipy

from scipy import optimize

x_data, y_data  = load_data()
def model_func(x, a0, a1):
    return a0 + (a1*x)

param_opt, param_cov = optimize.curve_fit(model_func, x_data, y_data)

a0 = param_opt[0]  # a0 là hệ số chặn trong y = a0 + a1*x
a1 = param_opt[1]  # a1 là hệ số góc  trong y = a0 + a1*x
Nhập môn Mô hình tuyến tính với Python

Tối ưu bằng Statsmodels

from statsmodels.formula.api import ols

x_data, y_data = load_data()
df = pd.DataFrame(dict(x_name=x_data, y_name=y_data))

model_fit = ols(formula="y_name ~ x_name", data=df).fit()

y_model = model_fit.predict(df)
x_model = x_data

a0 = model_fit.params['Intercept']
a1 = model_fit.params['x_name']
Nhập môn Mô hình tuyến tính với Python

Cùng luyện tập nào!

Nhập môn Mô hình tuyến tính với Python

Preparing Video For Download...