Information et importance des caractéristiques

Réduction de dimension en R

Matt Pickard

Owner, Pickard Predictives, LLC

Citation sur le gain d'information

1 Provost, Foster; Fawcett, Tom (2013-07-27). Data Science for Business: What you need to know about data mining and data-analytic thinking. O'Reilly Media. Kindle Edition.
Réduction de dimension en R

Importance des caractéristiques

Importance des caractéristiques : mesure de l'information pour bâtir un modèle

Illustration prédicteur, cible, modèle

Plusieurs façons de mesurer l'importance

  • Corrélation (avec la variable cible)
  • Coefficients de régression standardisés
  • Gain d'information
Réduction de dimension en R

Exemple d'arbre de décision

Ensemble d'observations de défauts de prêt avec des caractéristiques de forme, couleur, contour et texture

Réduction de dimension en R

Arbre de décision et gain d'information

Gain d'information : quantité d'information apprise sur une variable en observant une autre variable

Équation du gain d'information

ensemble scindé selon une caractéristique

Réduction de dimension en R

Entropie

  • Une mesure du désordre
  • Plus la pureté augmente, plus l'entropie diminue
  • L'entropie varie de 0 (pureté parfaite) à 1 (entropie maximale)

Graphique de l'entropie

Réduction de dimension en R

Entropie : nœud racine

Équation de l'entropie

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Image des observations dans le nœud racine

Réduction de dimension en R

Entropie : nœuds enfants

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Scission de l'arbre pour créer le premier niveau depuis la racine

Réduction de dimension en R

Entropie : nœuds enfants

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Scission de l'arbre pour créer le premier niveau depuis la racine

Réduction de dimension en R

Entropie : nœuds enfants

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Scission de l'arbre pour créer le premier niveau depuis la racine

Réduction de dimension en R

Entropie : nœuds enfants

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Scission de l'arbre pour créer le premier niveau depuis la racine

Réduction de dimension en R

Gain d'information : racine vers enfants

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Scission de l'arbre pour créer le premier niveau depuis la racine

Réduction de dimension en R

Comparer le gain d'information selon les caractéristiques

Caractéristique Gain d'information
forme 0.181
texture 0.180
contour 0.106
couleur 0.106

Arbre de décision avec point d'interrogation à la scission

Réduction de dimension en R

Passons à la pratique !

Réduction de dimension en R

Preparing Video For Download...