Ensembles d'entraînement et de test

Prévision en R

Rob J. Hyndman

Professor of Statistics at Monash University

Ensembles d'entraînement et de test

ch2_vid3_slides.003.png

Ensembles d'entraînement et de test

ch2_vid3_slides.004.png

Ensembles d'entraînement et de test

ch2_vid3_slides.005.png

Le jeu de test ne doit jamais servir à calculer des prévisions
Construisez les prévisions avec le jeu d'entraînement
Un modèle qui s'ajuste bien aux données d'entraînement ne prédit pas forcément bien

Exemple : production pétrolière de l'Arabie saoudite

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Erreurs de prévision

« Erreur » de prévision = différence entre la valeur observée et sa prévision dans le jeu de test.

$\neq$ résidus

erreurs sur le jeu d'entraînement (vs jeu de test)
basés sur des prévisions à un pas (vs à plusieurs pas)

Calculez la précision à partir des erreurs de prévision sur les données de test

Mesures de précision des prévisions

Observation : $y_t$
Prévision : $\hat{y}_t$
Erreur de prévision : $e_t = y_t - \hat{y}_t$

Mesure de précision	Calcul
Erreur absolue moyenne (MAE)	$\text{MAE} = avg(\mid e_t \mid)$
Erreur quadratique moyenne (MSE)	$\text{MSE} = avg(e_t^2)$
Pourcentage d'erreur absolue moy.	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Erreur absolue moyenne normalisée	$\text{MASE} = \frac{\text{MAE}}{Q}$ où $Q$ est une constante d'échelle

La commande accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Passons à la pratique !

Prévision en R