Оцінювання якості моделі

Machine Learning для бізнесу

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Типи вимірювання якості

Два ключові метрики для навчання з учителем:

  1. Accuracy --> класифікація
  2. Error --> регресія
Machine Learning для бізнесу

Якість класифікації

  • Accuracy

  • Recall

  • Precision

Machine Learning для бізнесу

Приклад відтоку клієнтів

c1

Machine Learning для бізнесу

Приклад відтоку клієнтів

c2

Machine Learning для бізнесу

Прогноз відтоку

c3

Machine Learning для бізнесу

Неправильно класифіковані обʼєкти

c4

Machine Learning для бізнесу

Ще один прогноз відтоку

c5

Machine Learning для бізнесу

Accuracy

acc

Machine Learning для бізнесу

Precision

precision

Machine Learning для бізнесу

Recall

recall

Machine Learning для бізнесу

Якість регресії

  • Error
Machine Learning для бізнесу

Приклад регресії

r1

Machine Learning для бізнесу

Прогноз доходу прямою лінією

r2

Machine Learning для бізнесу

Похибка регресії

r3

Machine Learning для бізнесу

Тестування нелінійних моделей

r4

Machine Learning для бізнесу

Зменшення похибки

r5

Machine Learning для бізнесу

Дієві моделі — A/B‑тестування

Хороші моделі не завжди придатні до дій:

Прогноз відтоку, прогноз купівлі, прогноз відмови обладнання

Перевірте, чи застосування моделей покращує результати:

Цільові стимули (знижки, купони, акції) для клієнтів, у яких прогнозовано відтік

Надішліть листи-нагадування й деталі продукту клієнтам, що ймовірно куплять

Чи це зменшило відтік, підвищило частку купівель і скоротило відмови? Якщо так — вбудуйте в автоматизований процес. Якщо ні — зберіть більше даних, вдоскональте моделі й протестуйте знову.

Machine Learning для бізнесу

Давайте потренуємось!

Machine Learning для бізнесу

Preparing Video For Download...