Оценка производительности

Введение в машинное обучение

Hadrien Lacroix

Content Developer at DataCamp

Шаг оценки

Введение в машинное обучение

Переобучение

  • Отличные результаты на обучающих данных
  • Плохие результаты на тестовых данных
  • Модель запомнила обучающие данные и не может обобщить их на новые
  • Используйте тестовую выборку для проверки производительности модели
Введение в машинное обучение

Иллюстрация переобучения

переобучение

Введение в машинное обучение

Точность

  • Точность = правильно классифицированные наблюдения / все наблюдения
  • 48 / 50 = 96%

линейный классификатор из первого урока

Введение в машинное обучение

Ограничения точности: пример с мошенничеством

$$

Точность этой модели:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

  • Пропускает большинство мошеннических транзакций
  • Нужна более подходящая метрика
Введение в машинное обучение

Матрица ошибок

матрица ошибок

Введение в машинное обучение

Истинно положительные

Введение в машинное обучение

Истинно положительные

Введение в машинное обучение

Ложноотрицательные

Введение в машинное обучение

Ложноотрицательные

Введение в машинное обучение

Как запомнить ложноотрицательные

fp.jpg

Введение в машинное обучение

Заполните остальное...

Введение в машинное обучение

Ложноположительные, истинно отрицательные

Введение в машинное обучение

Как запомнить ложноположительные

fn2.jpg

Введение в машинное обучение

Чувствительность

Сколько мошеннических транзакций мы классифицировали верно?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Лучше пометить легальную транзакцию как подозрительную, чем пропустить мошенническую
Введение в машинное обучение

Специфичность

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Спам-фильтр:

  • Лучше пропустить спам в папку «Входящие», чем отправить обычное письмо в папку «Спам»
Введение в машинное обучение

Оценка регрессии

Введение в машинное обучение

Оценка регрессии

  • Ошибка = расстояние между точкой (фактическое значение) и прямой (предсказанное значение)
  • Есть разные способы её вычислить, например среднеквадратичная ошибка
Введение в машинное обучение

Обучение без учителя

выберите свой путь

1 https://www.flickr.com/photos/micahdowty/8540188997
Введение в машинное обучение

Давайте потренируемся!

Введение в машинное обучение

Preparing Video For Download...