Скользящий контроль с исключением одного (LOOCV)

Валидация моделей на Python

Kasey Jones

Data Scientist

LOOCV

LOOCV разбивает данные n раз, где n — количество наблюдений. Это крайний случай перекрёстной проверки: потребуется обучить n моделей.

Валидация моделей на Python

Когда использовать LOOCV?

Когда применять:

  • Обучающих данных мало
  • Нужна максимально точная оценка ошибки на новых данных

Когда быть осторожным:

  • Вычислительные ресурсы ограничены
  • Данных очень много
  • Параметров для подбора очень много
Валидация моделей на Python

Пример LOOCV

n = X.shape[0]
mse = make_scorer(mean_squared_error)
cv_results = cross_val_score(estimator, X, y, scoring=mse, cv=n)
print(cv_results)
[5.45, 10.52, 6.23, 1.98, 11.27, 9.21, 4.65, ... ]
print(cv_results.mean())
6.32
Валидация моделей на Python

Давайте потренируемся!

Валидация моделей на Python

Preparing Video For Download...