Tréninková a testovací sada

Forecasting v R

Rob J. Hyndman

Professor of Statistics at Monash University

Tréninková a testovací sada

ch2_vid3_slides.003.png

Forecasting v R

Tréninková a testovací sada

ch2_vid3_slides.004.png

Forecasting v R

Tréninková a testovací sada

ch2_vid3_slides.005.png

  • Testovací sada nesmí být použita při výpočtu prognóz
  • Prognózy se sestavují pomocí tréninkové sady
  • Model, který dobře odpovídá tréninkovým datům, nemusí dobře předpovídat
Forecasting v R

Příklad: Produkce ropy v Saúdské Arábii

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Prognóza produkce ropy v Saúdské Arábii

Forecasting v R

Chyby prognózy

Chyba prognózy = rozdíl mezi pozorovanou hodnotou a prognózou v testovací sadě.
$\neq$ rezidua
  • která jsou chybami na tréninkové sadě (oproti testovací sadě)
  • která vycházejí z prognóz jednoho kroku (oproti více krokům)

Přesnost se měří pomocí chyb prognózy na testovacích datech

Forecasting v R

Míry přesnosti prognózy

  • Pozorování: $y_t$
  • Prognóza: $\hat{y}_t$
  • Chyba prognózy: $e_t = y_t - \hat{y}_t$
Míra přesnosti Výpočet
Střední absolutní chyba $\text{MAE} = avg(\mid e_t \mid)$
Střední čtvercová chyba $\text{MSE} = avg(e_t^2)$
Střední absolutní procentuální chyba $\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Střední absolutní škálovaná chyba $\text{MASE} = \frac{\text{MAE}}{Q}$, kde $Q$ je škálovací konstanta
Forecasting v R

Příkaz accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185
Forecasting v R

Pojďme si procvičit!

Forecasting v R

Preparing Video For Download...