Seturi de antrenament și test

Prognoze în R

Rob J. Hyndman

Professor of Statistics at Monash University

Seturi de antrenament și test

ch2_vid3_slides.003.png

Seturi de antrenament și test

ch2_vid3_slides.004.png

Seturi de antrenament și test

ch2_vid3_slides.005.png

Setul de test nu trebuie utilizat la calculul prognozelor
Prognozele se construiesc pe setul de antrenament
Un model care se potrivește bine datelor de antrenament nu va prognoza neapărat bine

Exemplu: producția de petrol din Arabia Saudită

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Erori de prognoză

„Eroarea" de prognoză = diferența dintre valoarea observată și prognoza sa în setul de test.

$\neq$ reziduuri

care sunt erori pe setul de antrenament (vs. setul de test)
care se bazează pe prognoze un pas (vs. mai mulți pași)

Acuratețea se calculează pe erorile de prognoză din datele de test

Măsuri ale acurateței prognozei

Observație: $y_t$
Prognoză: $\hat{y}_t$
Eroare de prognoză: $e_t = y_t - \hat{y}_t$

Măsură de acuratețe	Calcul
Eroarea absolută medie	$\text{MAE} = avg(\mid e_t \mid)$
Eroarea pătratică medie	$\text{MSE} = avg(e_t^2)$
Eroarea procentuală absolută medie	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Eroarea absolută medie scalată	$\text{MASE} = \frac{\text{MAE}}{Q}$ unde $Q$ este o constantă de scalare

Comanda accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Să exersăm!

Prognoze în R