Информация и важность признаков

Снижение размерности в R

Matt Pickard

Owner, Pickard Predictives, LLC

Цитата об информационном выигрыше

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Снижение размерности в R

Важность признаков

Важность признаков: мера информации при построении модели

Иллюстрация связи предиктор — цель — модель

Способы измерения важности признаков

  • Корреляция (с целевой переменной)
  • Стандартизованные коэффициенты регрессии
  • Информационный выигрыш
Снижение размерности в R

Пример дерева решений

Набор наблюдений о дефолтах по кредитам с характеристиками: форма, цвет, контур и текстура

Снижение размерности в R

Дерево решений и информационный выигрыш

Информационный выигрыш — объём информации об одной переменной, получаемый при наблюдении другой

Формула информационного выигрыша

Множество, разделяемое по некоторому признаку

Снижение размерности в R

Энтропия

  • Мера беспорядка
  • Чем выше чистота, тем ниже энтропия
  • Значения энтропии: от 0 (полная чистота) до 1 (максимальная энтропия)

График энтропии

Снижение размерности в R

Энтропия: корневой узел

Формула энтропии

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Наблюдения в корневом узле

Снижение размерности в R

Энтропия: дочерние узлы

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Разбиение дерева решений на первый уровень от корня

Снижение размерности в R

Энтропия: дочерние узлы

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Разбиение дерева решений на первый уровень от корня

Снижение размерности в R

Энтропия: дочерние узлы

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Разбиение дерева решений на первый уровень от корня

Снижение размерности в R

Энтропия: дочерние узлы

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Разбиение дерева решений на первый уровень от корня

Снижение размерности в R

Информационный выигрыш: от корня к дочерним узлам

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Разбиение дерева решений на первый уровень от корня

Снижение размерности в R

Сравнение информационного выигрыша по признакам

Признак Информационный выигрыш
shape 0.181
texture 0.180
outline 0.106
color 0.106

Дерево решений со знаком вопроса в точке разбиения

Снижение размерности в R

Давайте потренируемся!

Снижение размерности в R

Preparing Video For Download...