Information et importance des variables

Réduction de dimension en R

Matt Pickard

Owner, Pickard Predictives, LLC

Citation sur le gain d'information

1 Provost, Foster ; Fawcett, Tom (2013-07-27). Data Science for Business : ce qu'il faut savoir sur le data mining et la pensée analytique des données. O'Reilly Media. Édition Kindle.
Réduction de dimension en R

Importance des variables

Importance des variables : mesure de l'information pour construire un modèle

Illustration prédicteur, cible, modèle

Plusieurs façons de mesurer l'importance

  • Corrélation (avec la variable cible)
  • Coefficients de régression standardisés
  • Gain d'information
Réduction de dimension en R

Exemple d'arbre de décision

Ensemble d'observations de défauts de prêt avec caractéristiques : forme, couleur, contour et texture

Réduction de dimension en R

Arbre de décision et gain d'information

Gain d'information : quantité d'information sur une variable obtenue en en observant une autre

Équation du gain d'information

ensemble scindé selon une caractéristique

Réduction de dimension en R

Entropie

  • Mesure du désordre
  • Quand la pureté augmente, l'entropie diminue
  • L'entropie va de 0 (pureté parfaite) à 1 (entropie maximale)

Graphique de l'entropie

Réduction de dimension en R

Entropie : nœud racine

Équation de l'entropie

p_yes <- 7/16

p_no <- 9/16

entropy_root <- 
  -(p_yes * log2(p_yes)) + 
  -(p_no * log2(p_no))

entropy_root

0.989

Image des observations dans le nœud racine

Réduction de dimension en R

Entropie : nœuds enfants

p_left_yes <- 2/9

p_left_no <- 7/9


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no))

Scission de l'arbre de décision pour créer le premier niveau depuis la racine

Réduction de dimension en R

Entropie : nœuds enfants

p_left_yes <- 2/9 

p_left_no <- 7/9 


entropy_left <- 
  -(p_left_yes * log2(p_left_yes)) +
  -(p_left_no * log2(p_left_no)) 


entropy_left 

0.764

Scission de l'arbre de décision pour créer le premier niveau depuis la racine

Réduction de dimension en R

Entropie : nœuds enfants

p_right_yes <- 5/7

p_right_no <- 2/7


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no))

Scission de l'arbre de décision pour créer le premier niveau depuis la racine

Réduction de dimension en R

Entropie : nœuds enfants

p_right_yes <- 5/7 

p_right_no <- 2/7 


entropy_right <- 
  -(p_right_yes * log2(p_right_yes)) +
  -(p_right_no * log2(p_right_no)) 


entropy_right 

0.863

Scission de l'arbre de décision pour créer le premier niveau depuis la racine

Réduction de dimension en R

Gain d'information : de la racine aux enfants

p_left <- 9/16

p_right <- 7/16


info_gain <- entropy_root - 
  (p_left * entropy_left +
  p_right * entropy_right)


info_gain

0.181

Scission de l'arbre de décision pour créer le premier niveau depuis la racine

Réduction de dimension en R

Comparer le gain d'information selon les variables

Variable Gain d'information
shape 0.181
texture 0.180
outline 0.106
color 0.106

Arbre de décision avec point d'interrogation au niveau de la scission

Réduction de dimension en R

Passons à la pratique !

Réduction de dimension en R

Preparing Video For Download...