Измерение качества модели

Машинное обучение для бизнеса

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Типы метрик качества

Две ключевые метрики обучения с учителем:

  1. Точность --> классификация
  2. Ошибка --> регрессия
Машинное обучение для бизнеса

Метрики классификации

  • Точность

  • Полнота

  • Точность (precision)

Машинное обучение для бизнеса

Пример оттока

c1

Машинное обучение для бизнеса

Пример оттока

c2

Машинное обучение для бизнеса

Прогнозирование оттока

c3

Машинное обучение для бизнеса

Неверно классифицированные объекты

c4

Машинное обучение для бизнеса

Другой пример прогнозирования оттока

c5

Машинное обучение для бизнеса

Точность

acc

Машинное обучение для бизнеса

Точность (precision)

precision

Машинное обучение для бизнеса

Полнота

recall

Машинное обучение для бизнеса

Метрики регрессии

  • Ошибка
Машинное обучение для бизнеса

Пример регрессии

r1

Машинное обучение для бизнеса

Прогнозирование выручки с помощью прямой

r2

Машинное обучение для бизнеса

Ошибка регрессии

r3

Машинное обучение для бизнеса

Тестирование нелинейных моделей

r4

Машинное обучение для бизнеса

Улучшение ошибки

r5

Машинное обучение для бизнеса

Применимые модели – A/B-тестирование

Хорошие модели не всегда применимы на практике:

Прогнозирование оттока, покупок, отказов оборудования

Проверьте, улучшают ли модели результаты:

Предлагайте стимулы (скидки, купоны, акции) клиентам, склонным к оттоку

Отправляйте напоминания и описания товаров клиентам, готовым к покупке

Снизился ли отток, выросли ли продажи, сократились ли отказы оборудования? Если да – внедрите в автоматизированный процесс. Если нет – соберите больше данных, улучшите модели и повторите тест.

Машинное обучение для бизнеса

Давайте потренируемся!

Машинное обучение для бизнеса

Preparing Video For Download...