Оцінювання ефективності

Розуміння машинного навчання

Hadrien Lacroix

Content Developer at DataCamp

Крок «Оцінити»

Розуміння машинного навчання

Перенавчання

  • Працює відмінно на навчальних даних
  • Працює погано на тестових даних
  • Модель запам'ятала навчальні дані й не узагальнює на нові
  • Використовуйте тестовий набір, щоб перевірити якість моделі
Розуміння машинного навчання

Ілюстрація перенавчання

перенавчання

Розуміння машинного навчання

Точність

  • Точність = правильно класифіковані спостереження / усі спостереження
  • 48 / 50 = 96%

лінійний класифікатор з першого уроку

Розуміння машинного навчання

Обмеження точності: приклад шахрайства

$$

Точність цієї моделі:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

  • Пропускає більшість шахрайських транзакцій
  • Потрібна краща метрика
Розуміння машинного навчання

Матриця змішування

матриця змішування

Розуміння машинного навчання

Істинні спрацьовування

Розуміння машинного навчання

Істинні спрацьовування

Розуміння машинного навчання

Хибні негативи

Розуміння машинного навчання

Хибні негативи

Розуміння машинного навчання

Як запам'ятати хибні негативи

fp.jpg

Розуміння машинного навчання

Заповніть решту…

Розуміння машинного навчання

Хибні спрацьовування, істинні негативи

Розуміння машинного навчання

Як запам'ятати хибні спрацьовування

fn2.jpg

Розуміння машинного навчання

Чутливість

Скільки шахрайських транзакцій ми класифікували правильно?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Краще позначити легітимні транзакції як підозрілі, ніж пропустити шахрайські
Розуміння машинного навчання

Специфічність

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Спам-фільтр:

  • Краще надіслати спам у вхідні, ніж відправити справжні листи у спам
Розуміння машинного навчання

Оцінювання регресії

Розуміння машинного навчання

Оцінювання регресії

  • Похибка = відстань між точкою (фактичне значення) і лінією (прогноз)
  • Є багато способів обчислення, напр., корінь середньоквадратичної помилки
Розуміння машинного навчання

Навчання без учителя

оберіть власний шлях

1 https://www.flickr.com/photos/micahdowty/8540188997
Розуміння машинного навчання

Давайте потренуємось!

Розуміння машинного навчання

Preparing Video For Download...