Hachage de caractéristiques

Ingénierie des caractéristiques en R

Jorge Zazueta

Research Professor and Head of the Modeling Group at the School of Economics, UASLP

Qu'est-ce que le hachage de caractéristiques ?

Transforme une variable texte en variables numériques
Utilise des valeurs de hachage comme indices de caractéristiques
Représentation mémoire légère des données
Utile si de nouvelles catégories apparaissent avec de nouvelles données

Attribuez un indice à chaque transporteur selon les valeurs textuelles.

Table illustrant le hachage de caractéristiques pour des transporteurs aériens.

Combien de transporteurs y a-t-il ?

L'ensemble de données flights contient les transporteurs comme facteurs, mais on ne sait pas si de nouveaux transporteurs apparaîtront avec de nouvelles données.

flights %>%
  select(carrier) %>%
  table()

carrier
  9E   AA   AS   B6   DL   EV   F9   FL   HA   MQ   OO   UA   US   VX   WN   YV 
 859 1744   26 2503 2619 3014   38  186   14 1540    2 3367 1228  244  757   41

Hachons cette caractéristique

On peut créer des hachages fictifs pour représenter les valeurs des facteurs, avec le paquet textrecipes.

recipe <- recipe(~carrier, 
                 data = flights_train) %>%
  step_dummy_hash(carrier, prefix = NULL, 
                  signed = FALSE, 
                  num_terms = 50L)
# Préparer la recette
object <- recipe %>%
  prep()

# Cuire l'objet recette avec de nouvelles données
baked <- bake(object,
              new_data = flights_test)

Aperçu de la représentation step_dummy_hash().

bind_cols(flights_test$carrier,baked)[1:6,c(1,18:20)]

Nouveaux noms :
• `` -> `...1`
# A tibble: 10 × 4
   ...1  `_carrier_17` `_carrier_18` `_carrier_19`
   <chr>         <int>         <int>         <int>
 1 EV                0             0             0
 2 B6                0             1             0
 3 EV                0             0             0
 4 MQ                0             0             0
 5 DL                0             0             0
 6 EV                0             0             0

Visualiser le hachage

Examinons la matrice avec le paquet plot.matrix.

flights_hash <- 
    as.matrix(baked)[1:50,] 

plot(flights_hash, 
     col = c("white","steelblue"), 
     key = NULL,
     border = NA)

Représentation graphique d'un échantillon des affectations de hachage fictif du facteur de transporteur d'origine.

Passons à la pratique !

Ingénierie des caractéristiques en R