訓練データとテストデータ

Rで学ぶ予測入門

Rob J. Hyndman

Professor of Statistics at Monash University

訓練データとテストデータ

ch2_vid3_slides.003.png

訓練データとテストデータ

ch2_vid3_slides.004.png

訓練データとテストデータ

ch2_vid3_slides.005.png

テストデータは予測の算出に一切使わない
予測は訓練データで構築する
訓練に良く適合しても予測性能が高いとは限らない

例: サウジアラビアの原油生産

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

予測誤差

予測「誤差」= テストデータでの観測値とその予測の差

$\neq$ 残差

残差は（テストではなく）訓練データでの誤差
残差は多歩先ではなく「1歩先」予測に基づく

精度はテストデータの予測誤差で評価する

予測精度の指標

観測値: $y_t$
予測値: $\hat{y}_t$
予測誤差: $e_t = y_t - \hat{y}_t$

精度指標	計算式
平均絶対誤差	$\text{MAE} = avg(\mid e_t \mid)$
平均二乗誤差	$\text{MSE} = avg(e_t^2)$
平均絶対百分率誤差	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
平均絶対スケール誤差	$\text{MASE} = \frac{\text{MAE}}{Q}$（$Q$ はスケール定数）

accuracy() コマンド

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Let's practice!

Rで学ぶ予測入門