Zbiory treningowe i testowe

Prognozowanie w R

Rob J. Hyndman

Professor of Statistics at Monash University

Zbiory treningowe i testowe

ch2_vid3_slides.003.png

Zbiory treningowe i testowe

ch2_vid3_slides.004.png

Zbiory treningowe i testowe

ch2_vid3_slides.005.png

Zbioru testowego nie wolno używać przy obliczaniu prognoz
Prognozy należy budować na zbiorze treningowym
Model dobrze dopasowany do danych treningowych niekoniecznie dobrze prognozuje

Przykład: produkcja ropy naftowej w Arabii Saudyjskiej

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Prognoza produkcji ropy naftowej w Arabii Saudyjskiej

Błędy prognoz

„Błąd" prognozy = różnica między wartością obserwowaną a prognozowaną w zbiorze testowym.

$\neq$ reszty

które są błędami na zbiorze treningowym (vs. testowym)
które opierają się na prognozach jednokrokowych (vs. wielokrokowych)

Dokładność oblicza się na podstawie błędów prognoz na danych testowych

Miary dokładności prognoz

Obserwacja: $y_t$
Prognoza: $\hat{y}_t$
Błąd prognozy: $e_t = y_t - \hat{y}_t$

Miara dokładności	Obliczenie
Średni błąd bezwzględny	$\text{MAE} = avg(\mid e_t \mid)$
Średni błąd kwadratowy	$\text{MSE} = avg(e_t^2)$
Średni bezwzględny błąd procentowy	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Średni bezwzględny błąd skalowany	$\text{MASE} = \frac{\text{MAE}}{Q}$, gdzie $Q$ to stała skalująca

Polecenie accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Czas na ćwiczenia!

Prognozowanie w R