Отслеживание производительности

Демистификация науки о принятии решений

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Производительность модели

Разные модели — разные сильные стороны

Одна модель лучше определяет вероятность дефолта
Другая точнее оценивает возможный размер потерь

Какая модель лучше? Это зависит от цели

Важнее выявить рискованных клиентов
Или оценить финансовые потери от дефолта

Метрики модели

Разные метрики освещают разные аспекты производительности

Часто используемые метрики оценки:

Accuracy
Precision
Recall
F1-Score
Area Under the Curve (AUC)
Mean Absolute Error (MAE)
Mean Absolute Percent Error (MAPE)

Accuracy

Общее представление о правильности предсказаний

Измеряет долю верных предсказаний среди всех
Хорошо работает при сбалансированных классах, например spam и not spam

Precision

Какая доля предсказанных позитивов действительно верна

Важна, когда ложные срабатывания обходятся дорого
Низкая precision = многие легитимные транзакции помечаются как fraudulent

Дополнительные метрики

Recall: охват истинно положительных случаев

Оценивает, насколько хорошо модель находит реальные позитивы
Важна, когда пропуск случая стоит дорого (например, мошенничество, болезнь)

Area under the curve (AUC): разделимость классов

Оценивает способность модели различать классы
Не зависит от конкретного порога

Метрики регрессии: измерение ошибки предсказания

Mean Absolute Error (MAE): средний размер ошибок предсказания
Mean Percentage Error (MPE): насколько предсказания отклоняются в процентах

Дашборды критически важны

Дашборды превращают сложный анализ в чёткие и actionable выводы, упрощая принятие решений.

Основные принципы

Знайте свою аудиторию

Руководителям нужны сводки
Аналитикам — детали

Выделяйте ключевые метрики

Показывайте только самое важное
Избегайте лишних элементов и шума

Используйте понятные визуализации

Столбчатые диаграммы для сравнений, линейные — для трендов во времени
Простые визуализации часто работают лучше всего

Дополнительные принципы

Отслеживайте изменения во времени

Следите за производительностью модели и дрейфом признаков
Тренды придают метрикам контекст

Добавляйте контекст, а не только числа

Используйте краткие аннотации для объяснения ключевых изменений
Помогайте пользователям понять, что происходит и почему

Тестируйте и совершенствуйте

Делитесь результатами на раннем этапе и собирайте обратную связь
Обновляйте дашборды по мере развития моделей и потребностей

Давайте потренируемся!

Демистификация науки о принятии решений

Preparing Video For Download...