훈련 세트와 테스트 세트

R로 배우는 시계열 예측

Rob J. Hyndman

Professor of Statistics at Monash University

훈련 세트와 테스트 세트

ch2_vid3_slides.003.png

훈련 세트와 테스트 세트

ch2_vid3_slides.004.png

훈련 세트와 테스트 세트

ch2_vid3_slides.005.png

테스트 세트는 예측 계산의 어떤 부분에도 사용하면 안 됩니다
예측은 훈련 세트로 구축합니다
훈련 데이터에 잘 맞는 모델이 항상 좋은 예측을 하진 않습니다

예시: 사우디아라비아 원유 생산

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

사우디아라비아 원유 생산 예측 그래프

예측 오차

예측 "오차" = 테스트 세트에서 관측값과 그 예측의 차이

$\neq$ 잔차

잔차는 훈련 세트의 오차임(대비: 테스트 세트)
잔차는 단일 스텝 예측 기반임(대비: 다중 스텝)

정확도는 테스트 데이터의 예측 오차로 계산합니다

예측 정확도 지표

관측값: $y_t$
예측값: $\hat{y}_t$
예측 오차: $e_t = y_t - \hat{y}_t$

정확도 지표	계산식
평균 절대 오차	$\text{MAE} = avg(\mid e_t \mid)$
평균제곱오차	$\text{MSE} = avg(e_t^2)$
평균 절대 백분율 오차	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
평균 절대 스케일드 오차	$\text{MASE} = \frac{\text{MAE}}{Q}$, 여기서 $Q$는 스케일 상수

accuracy() 명령어

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Vamos praticar!

R로 배우는 시계열 예측