Conjuntos de treino e teste

Previsão em R

Rob J. Hyndman

Professor of Statistics at Monash University

Conjuntos de treino e teste

ch2_vid3_slides.003.png

Conjuntos de treino e teste

ch2_vid3_slides.004.png

Conjuntos de treino e teste

ch2_vid3_slides.005.png

O conjunto de teste não deve ser usado em nenhuma etapa do cálculo das previsões
Construa previsões usando o conjunto de treino
Um modelo que se ajusta bem ao treino não necessariamente prevê bem

Exemplo: produção de petróleo da Arábia Saudita

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Erros de previsão

"Erro" de previsão = diferença entre o valor observado e sua previsão no conjunto de teste.

$\neq$ resíduos

que são erros no conjunto de treino (vs. conjunto de teste)
que se baseiam em previsões de um passo (vs. múltiplos passos)

Calcule a acurácia usando erros de previsão nos dados de teste

Medidas de acurácia de previsão

Observação: $y_t$
Previsão: $\hat{y}_t$
Erro de previsão: $e_t = y_t - \hat{y}_t$

Medida de acurácia	Cálculo
Erro absoluto médio	$\text{MAE} = avg(\mid e_t \mid)$
Erro quadrático médio	$\text{MSE} = avg(e_t^2)$
Erro percentual absoluto médio	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Erro absoluto médio escalado	$\text{MASE} = \frac{\text{MAE}}{Q}$ onde $Q$ é uma constante de escala

O comando accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Vamos praticar!

Previsão em R