最小二乘优化

Python 线性建模入门

Jason Vestuto

Data Scientist

RSS 的极小值

RSS 的 y 轴相对于斜率 x 轴的图，形状像向上的抛物线或井，最小值在底部接近 slope=25

将 RSS 对斜率的导数设为零，并用微积分可得：

  • $a_1 = covariance(x, y) / variance(x) $
  • $a_0 = mean(y) - a_1 \times mean(x) $
Python 线性建模入门

用 Numpy 优化

最优斜率与截距的 Numpy 表达式

x_mean = np.mean(x)
y_mean = np.mean(y)

x_dev = x - x_mean
y_dev = y - y_mean

a1 = np.sum( x_dev * y_dev ) / np.sum( x_dev**2 )

a0 = y_mean - (a1*x_mean)
Python 线性建模入门

用 Scipy 优化

from scipy import optimize

x_data, y_data  = load_data()
def model_func(x, a0, a1):
    return a0 + (a1*x)

param_opt, param_cov = optimize.curve_fit(model_func, x_data, y_data)

a0 = param_opt[0]  # a0 是 y = a0 + a1*x 中的截距
a1 = param_opt[1]  # a1 是 y = a0 + a1*x 中的斜率
Python 线性建模入门

用 Statsmodels 优化

from statsmodels.formula.api import ols

x_data, y_data = load_data()
df = pd.DataFrame(dict(x_name=x_data, y_name=y_data))

model_fit = ols(formula="y_name ~ x_name", data=df).fit()

y_model = model_fit.predict(df)
x_model = x_data

a0 = model_fit.params['Intercept']
a1 = model_fit.params['x_name']
Python 线性建模入门

Passons à la pratique !

Python 线性建模入门

Preparing Video For Download...