Обучающая и тестовая выборки

Прогнозирование в R

Rob J. Hyndman

Professor of Statistics at Monash University

Обучающая и тестовая выборки

ch2_vid3_slides.003.png

Обучающая и тестовая выборки

ch2_vid3_slides.004.png

Обучающая и тестовая выборки

ch2_vid3_slides.005.png

Тестовая выборка не должна использоваться ни для каких аспектов построения прогнозов
Прогнозы строятся на обучающей выборке
Модель, хорошо подогнанная к обучающим данным, не обязательно даёт точные прогнозы

Пример: добыча нефти в Саудовской Аравии

training <- window(oil, end = 2003)
test <- window(oil, start = 2004)
fc <- naive(training, h = 10)
autoplot(fc) + autolayer(test, series = "Test data")

Ошибки прогноза

«Ошибка прогноза» = разность между наблюдаемым значением и его прогнозом на тестовой выборке.

$\neq$ остатки

остатки — ошибки на обучающей выборке (а не на тестовой)
остатки основаны на одношаговых прогнозах (а не на многошаговых)

Точность оценивается по ошибкам прогноза на тестовых данных

Меры точности прогноза

Наблюдение: $y_t$
Прогноз: $\hat{y}_t$
Ошибка прогноза: $e_t = y_t - \hat{y}_t$

Мера точности	Формула
Средняя абсолютная ошибка	$\text{MAE} = avg(\mid e_t \mid)$
Средняя квадратичная ошибка	$\text{MSE} = avg(e_t^2)$
Средняя абсолютная процентная ошибка	$\text{MAPE} = 100 \times avg(\mid \frac{e_t}{y_t} \mid )$
Средняя абсолютная масштабированная ошибка	$\text{MASE} = \frac{\text{MAE}}{Q}$, где $Q$ — масштабирующая константа

Команда accuracy()

accuracy(fc, test)

                  ME   RMSE    MAE    MPE    MAPE    MASE    ACF1  Theil's U
Training set   9.874  52.56  39.43  2.507  12.571  1.0000  0.1802         NA
Test set      21.602  35.10  29.98  3.964   5.778  0.7603  0.4030      1.185

Давайте потренируемся!

Прогнозирование в R