Відстеження ефективності

Розкриваємо суть Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Ефективність моделі

Різні моделі — різні сильні сторони

  • Одна краще виявляє, хто може прострочити
  • Інша точніше оцінює можливий розмір прострочки

  scales.png

Яка модель краща? Залежить від мети

  • Що важливіше: позначати ризикових клієнтів
  • Чи оцінювати фінансовий вплив дефолту
Розкриваємо суть Decision Science

Метрики моделі

Різні метрики висвітлюють різні аспекти ефективності

Поширені метрики оцінювання:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

Розкриваємо суть Decision Science

Accuracy

 

Загальний огляд правильності

  • Вимірює частку всіх прогнозів, які модель вгадала правильно
  • Добре працює за збалансованих класів, як spam vs not spam

acc.png

Precision

 

Скільки передбачених «позитивів» насправді коректні

  • Важливо, коли хибні спрацьовування коштовні
  • Низька precision = позначає багато коректних транзакцій як fraudulent

precision.png

Розкриваємо суть Decision Science

Більше метрик

Recall: знаходьте істинні «позитиви»

  • Вимірює, наскільки добре модель знаходить реальні позитивні випадки
  • Важливо, коли пропуск випадку має високу вартість (напр., шахрайство, хвороба)

Area under the curve (AUC): міра розділення класів

  • Оцінює, наскільки добре модель відрізняє класи
  • Не прив'язана до певного порога

Метрики регресії: вимірюємо похибку прогнозу

  • Mean Absolute Error (MAE): середній розмір похибок прогнозу
  • Mean Percentage Error (MPE): наскільки прогнози відхиляються у відсотках

 

moremetrics.png

Розкриваємо суть Decision Science

Дашборди мають ключове значення

Дашборди перетворюють складну аналітику на чіткі, прикладні інсайти — так легше ухвалювати рішення.

 

dahsboard2.gif

Розкриваємо суть Decision Science

Базові принципи

 

Знайте свою аудиторію

  • Керівникам потрібні підсумки
  • Аналітикам — деталі

 

Підкреслюйте ключові метрики

  • Показуйте лише найважливіше
  • Уникайте захаращення та шуму

 

Використовуйте наочні візуалізації

  • Стовпчикові — для порівнянь, лінійні — для трендів у часі
  • Простота часто найкраща

  clear.png

Розкриваємо суть Decision Science

Додаткові принципи

Відстежуйте зміни з часом

  • Моніторте ефективність моделі та дрейф ознак
  • Тренди додають контекст до метрик

Додавайте контекст, не лише числа

  • Короткі примітки пояснюють ключові зсуви
  • Допоможіть користувачам зрозуміти, що і чому відбувається

Тестуйте й ітеруйте

  • Діліться рано й збирайте зворотний зв'язок
  • Оновлюйте дашборди зі зміною моделей і потреб

iterate.png

Розкриваємо суть Decision Science

Давайте потренуємось!

Розкриваємо суть Decision Science

Preparing Video For Download...