회귀와 예측

Python으로 배우는 Bayesian 데이터 분석

Michal Oleszak

Machine Learning Engineer

선형 회귀

$$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + ...$$

$$\text{sales} = \beta_0 + \beta_1\text{marketingSpending}$$

 

  • 빈도주의 추론:

    • $\text{sales} = \beta_0 + \beta_1\text{marketingSpending} + \varepsilon$

    • $\varepsilon \sim \mathcal{N} (0, \sigma)$

 

  • 베이지안 추론:

    • $\text{sales} \sim \mathcal{N} (\beta_0 + \beta_1\text{marketingSpending}, \sigma)$
Python으로 배우는 Bayesian 데이터 분석

정규분포

normal_0_1 = np.random.normal(0, 1, size=10000)




sns.kdeplot(normal_0_1, shade=True, label="N(0,1)")



plt.show()

표준정규분포의 밀도. 0에서 최고점이며 대칭.

Python으로 배우는 Bayesian 데이터 분석

정규분포

normal_0_1 = np.random.normal(0, 1, size=10000)
normal_3_1 = np.random.normal(3, 1, size=10000)


sns.kdeplot(normal_0_1, shade=True, label="N(0,1)")
sns.kdeplot(normal_3_1, shade=True, label="N(3,1)")


plt.show()

정규분포의 밀도. 3에서 최고점이며 대칭.

Python으로 배우는 Bayesian 데이터 분석

정규분포

normal_0_1 = np.random.normal(0, 1, size=10000)
normal_3_1 = np.random.normal(3, 1, size=10000)
normal_0_3 = np.random.normal(0, 3, size=10000)

sns.kdeplot(normal_0_1, shade=True, label="N(0,1)")
sns.kdeplot(normal_3_1, shade=True, label="N(3,1)")
sns.kdeplot(normal_0_3, shade=True, label="N(0,3)")

plt.show()

정규분포의 밀도. 0에서 최고점이며 대칭.

Python으로 배우는 Bayesian 데이터 분석

베이지안 회귀 모형 정의

$$\text{sales} \sim \mathcal{N} (\beta_0 + \beta_1\text{marketingSpending}, \sigma)$$

$$\beta_0 \sim \mathcal{N} (5, 2)$$

$$\beta_1 \sim \mathcal{N} (2, 10)$$

$$\sigma \sim \mathcal{Unif} (0, 3)$$

 

  • 마케팅을 전혀 하지 않으면 판매량은 5000으로 예상합니다.
  • 지출 1000 증가마다 판매량이 2000 증가한다고 예상합니다.
  • 표준편차에는 모름을 반영해 균등 사전분포를 둡니다.
Python으로 배우는 Bayesian 데이터 분석

회귀 매개변수 추정

  • 격자 근사는 매개변수가 많으면 비현실적
  • 공액 사전분포 선택 후 알려진 사후에서 시뮬레이션 → 비직관적 사전분포
  • 세 번째: 비공액 사전분포여도 사후에서 직접 시뮬레이션!
  • 지금은 매개변수 표본이 주어졌다고 가정합니다
Python으로 배우는 Bayesian 데이터 분석

사후분포 그리기

$$\text{sales} = \beta_0 + \beta_1\text{marketingSpending}$$

print(marketing_spending_draws)

array([9.6153, 8.9922, ..., 4.59565])

import pymc3 as pm

pm.plot_posterior(
  marketing_spending_draws, 
  hdi_prob=0.95
)

평균과 신뢰구간이 표시된 밀도 그래프.

Python으로 배우는 Bayesian 데이터 분석

사후 표본 분석

posterior_draws_df = pd.DataFrame({
    "intercept_draws": intercept_draws,
    "marketing_spending_draws": marketing_spending_draws,
    "sd_draws": sd_draws
})

print(posterior_draws_df)

       intercept_draws  marketing_spending_draws      sd_draws
count     10000.000000              10000.000000  10000.000000
mean          2.972130                  5.999146      1.337621
std           3.008565                  2.020708      0.471723
min          -8.562093                 -2.842438      0.029643
25%           0.972832                  4.621807      1.003229
50%           3.002940                  5.975067      1.427617
75%           5.020615                  7.362572      1.736310
max          15.228549                 13.258955      1.999834
Python으로 배우는 Bayesian 데이터 분석

예측분포

마케팅에 1000을 쓰면 예상 판매량은 얼마입니까?

$\text{sales} \sim \mathcal{N} (\beta_0 + \beta_1\text{marketingSpending}, \sigma)$

# 매개변수 점추정값 구하기
intercept_mean = intercept_draws.mean()
marketing_spending_mean = marketing_spending_draws.mean()
sd_mean = sd_draws.mean()


# 예측분포의 평균 계산
predictive_mean = intercept_mean + marketing_spending_mean * 1000


# 예측분포에서 시뮬레이션
prediction_draws = np.random.normal(predictive_mean, sd_mean, size=10000)
Python으로 배우는 Bayesian 데이터 분석

예측분포

마케팅에 1000을 쓰면 예상 판매량은 얼마입니까?

예측 판매량의 종 모양 밀도. 약 5986에서 정점.

Python으로 배우는 Bayesian 데이터 분석

회귀와 예측을 해봅시다!

Python으로 배우는 Bayesian 데이터 분석

Preparing Video For Download...