Ошибка обобщения

Машинное обучение на основе древовидных моделей в Python

Elie Kawerk

Data Scientist

Обучение с учителем: под капотом

  • Обучение с учителем: $y =f(x)$, $f$ неизвестна.

зашумлённый набор данных

Машинное обучение на основе древовидных моделей в Python

Цели обучения с учителем

  • Найти модель $\hat{f}$, наилучшим образом аппроксимирующую $f$: $\hat{f} \approx f$

  • $\hat{f}$ может быть логистической регрессией, деревом решений, нейронной сетью...

  • По возможности отфильтровать шум.

  • Конечная цель: $\hat{f}$ должна давать низкую ошибку предсказания на новых данных.

Машинное обучение на основе древовидных моделей в Python

Трудности при аппроксимации $f$

  • Переобучение:

    $\hat{f}(x)$ подстраивается под шум обучающей выборки.

  • Недообучение:

    $\hat{f}$ недостаточно гибка для аппроксимации $f$.

Машинное обучение на основе древовидных моделей в Python

Переобучение

переобучение

Машинное обучение на основе древовидных моделей в Python

Недообучение

недообучение

Машинное обучение на основе древовидных моделей в Python

Ошибка обобщения

  • Ошибка обобщения $\hat{f}$: насколько хорошо $\hat{f}$ обобщается на новых данных?

  • Её можно разложить следующим образом:

    Ошибка обобщения $\hat{f} = bias^2 + variance + \text{irreducible error}$

Машинное обучение на основе древовидных моделей в Python

Смещение (Bias)

  • Смещение (Bias): составляющая ошибки, показывающая, насколько в среднем $\hat{f} \neq f$.

высокое смещение

Машинное обучение на основе древовидных моделей в Python

Дисперсия (Variance)

  • Дисперсия (Variance): показывает, насколько нестабильна $\hat{f}$ на разных обучающих выборках.

высокая дисперсия

Машинное обучение на основе древовидных моделей в Python

Сложность модели

  • Сложность модели: определяет гибкость $\hat{f}$.

  • Примеры: максимальная глубина дерева, минимальное число объектов в листе...

Машинное обучение на основе древовидных моделей в Python

Компромисс смещение–дисперсия

разложение ошибки обобщения

Машинное обучение на основе древовидных моделей в Python

Компромисс смещение–дисперсия: наглядно

визуализация смещения и дисперсии

Машинное обучение на основе древовидных моделей в Python

Давайте потренируемся!

Машинное обучение на основе древовидных моделей в Python

Preparing Video For Download...