최소 제곱 최적화

Python으로 배우는 선형 모델 입문

Jason Vestuto

Data Scientist

RSS의 최솟값

RSS y축 값 대 기울기 x축 값의 그래프로, 아래가 볼록한 포물선 형태이며 기울기=25 근처 최솟값이 표시됨

RSS 기울기를 0으로 설정하고 미적분을 적용하면:

  • $a_1 = covariance(x, y) / variance(x) $
  • $a_0 = mean(y) - a_1 \times mean(x) $
Python으로 배우는 선형 모델 입문

NumPy로 최적화

최적 기울기 및 절편의 NumPy 표현

x_mean = np.mean(x)
y_mean = np.mean(y)

x_dev = x - x_mean
y_dev = y - y_mean

a1 = np.sum( x_dev * y_dev ) / np.sum( x_dev**2 )

a0 = y_mean - (a1*x_mean)
Python으로 배우는 선형 모델 입문

SciPy로 최적화

from scipy import optimize

x_data, y_data  = load_data()
def model_func(x, a0, a1):
    return a0 + (a1*x)

param_opt, param_cov = optimize.curve_fit(model_func, x_data, y_data)

a0 = param_opt[0]  # a0 is the intercept in y = a0 + a1*x
a1 = param_opt[1]  # a1 is the slope     in y = a0 + a1*x
Python으로 배우는 선형 모델 입문

Statsmodels로 최적화

from statsmodels.formula.api import ols

x_data, y_data = load_data()
df = pd.DataFrame(dict(x_name=x_data, y_name=y_data))

model_fit = ols(formula="y_name ~ x_name", data=df).fit()

y_model = model_fit.predict(df)
x_model = x_data

a0 = model_fit.params['Intercept']
a1 = model_fit.params['x_name']
Python으로 배우는 선형 모델 입문

연습해 봅시다!

Python으로 배우는 선형 모델 입문

Preparing Video For Download...