Set di training e test

Previsioni in R

Rob J. Hyndman

Professor of Statistics at Monash University

Set di training e test

ch2_vid3_slides.003.png

Set di training e test

ch2_vid3_slides.004.png

Set di training e test

ch2_vid3_slides.005.png

Il test set non deve essere usato per nessun aspetto del calcolo delle previsioni
Crea le previsioni usando il training set
Un modello che si adatta bene al training non necessariamente prevede bene

Esempio: produzione di petrolio in Arabia Saudita

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Previsioni produzione petrolio Arabia Saudita

Errori di previsione

Errore di previsione = differenza tra valore osservato e sua previsione nel test set.

$\neq$ residui

errori sul training set (vs test set)
basati su previsioni a un passo (vs multi-passo)

Calcola l'accuratezza usando gli errori di previsione sul test

Misure di accuratezza delle previsioni

Osservazione: $y_t$
Previsione: $\hat{y}_t$
Errore di previsione: $e_t = y_t - \hat{y}_t$

Misura di accuratezza	Calcolo
Errore assoluto medio (MAE)	$\text{MAE} = avg(\mid e_t \mid)$
Errore quadratico medio (MSE)	$\text{MSE} = avg(e_t^2)$
Errore percentuale assoluto medio	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Errore assoluto medio scalato (MASE)	$\text{MASE} = \frac{\text{MAE}}{Q}$ dove $Q$ è una costante di scala

Il comando accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Passons à la pratique !

Previsioni in R