Приоритизация моделей

Демистификация науки о принятии решений

Howard Friedman

Adjunct Professor at Columbia University

Начинаем с простого: линейная регрессия

  • Эффективна для непрерывных результатов при выполнении допущений
  • Более 200 лет успешного применения в реальном анализе

Простота — это сила

  • Линейная регрессия находит наилучшую прямую для ваших данных
  • С помощью преобразований она способна моделировать и нелинейные зависимости

Интерпретируемость важна

  • Коэффициенты помогают в интерпретации
  • Быстро вычисляется — легко объясняется
     

linear.png

Демистификация науки о принятии решений

Логистическая регрессия

Многие реальные задачи требуют бинарных или категориальных предсказаний:

  • Обнаружение мошенничества, прогноз оттока клиентов, модели оценки рисков в медицине

coinflip.png

Логистическая регрессия отличается высокой универсальностью

  • Подходит для бинарных, многоклассовых и упорядоченных результатов

Вероятности поддерживают принятие решений

Легко интерпретировать и реализовать

  • Коэффициенты показывают, как каждый признак влияет на результат
  • Отличная базовая модель перед переходом к более сложным классификаторам
Демистификация науки о принятии решений

Преобразования признаков

Начните с надёжной базовой модели

  • Сначала создайте рабочую версию, затем оцените целесообразность более сложных моделей

Преобразования признаков повышают качество модели

  • Логарифм или возведение в степень увеличивают объяснённую дисперсию
  • Они также улучшают соответствие модели данным

Согласуйте допущения модели с данными

  • Некоторые модели, например линейная регрессия, работают лучше при нормальном распределении остатков

  toolbox.png

Демистификация науки о принятии решений

Распространённые преобразования

 

  • Логарифм и квадратный корень сжимают широкие диапазоны и снижают влияние выбросов
  • Стандартизация и нормализация приводят признаки к сопоставимым диапазонам — особенно полезно при разных единицах измерения
  • Полиномиальные члены — например, квадратичные и кубические — позволяют описывать сложные нелинейные зависимости с минимальными усилиями

 

Применяйте преобразования для улучшения ранних моделей, прежде чем переходить к сложным

 

transform.png

Демистификация науки о принятии решений

Давайте потренируемся!

Демистификация науки о принятии решений

Preparing Video For Download...