Ризики машинного навчання

Machine Learning для бізнесу

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Низька ефективність

Деякі моделі працюють слабко (оцінюйте тестову ефективність, не тренувальну):

  • Низька точність (precision)

  • Низька повнота (recall)

  • Велика похибка

Machine Learning для бізнесу

Низька точність

Низька точність — багато помилково віднесених до цільового класу елементів = багато хибно-позитивних

Приклад — лише 10% клієнтів, визначених як імовірні покупці, справді придбали товар

Machine Learning для бізнесу

Низька повнота

Низька повнота — модель коректно виявила лише малу частку об'єктів цільового класу (відклик)

Приклад — модель виявила лише 25% усіх шахрайських транзакцій

Machine Learning для бізнесу

Велика похибка

Велика похибка — значні розбіжності між прогнозом і фактичними значеннями

Приклад — середня похибка прогнозу рейтингу задоволеності клієнтів становить 3,5 одиниці або 70 відсоткових пунктів

Machine Learning для бізнесу

Випадки неготові до дій

Питання: Як коректно тестувати моделі?

Відповідь: Запускайте тести/експерименти, щоб підтвердити ефективність, напр., email-кампанії проти відтоку, промо товарів, ручне обслуговування обладнання, ручна перевірка транзакцій

Machine Learning для бізнесу

A/B‑тестування

abtest

Machine Learning для бізнесу

Що робити, якщо тести не спрацьовують?

  • Зберіть більше даних — потрібна участь бізнесу
  • Побудуйте причинні моделі, щоб зрозуміти чинники
  • Проведіть якісні дослідження (опитування тощо)
  • Змініть межі задачі
    • Звузити
    • Розширити
    • Поставити інше питання
Machine Learning для бізнесу

Давайте потренуємось!

Machine Learning для бізнесу

Preparing Video For Download...