Feature hashing

Feature engineering en R

Jorge Zazueta

Research Professor and Head of the Modeling Group at the School of Economics, UASLP

Qu'est-ce que le feature hashing ?

Transforme une variable texte en variables numériques
Utilise des valeurs de hachage comme indices de caractéristiques
Représentation mémoire réduite des données
Utile si de nouvelles catégories apparaissent avec de nouvelles données

Attribuez un indice à chaque compagnie à partir des valeurs texte.

Tableau illustrant le feature hashing pour les compagnies aériennes.

Combien de compagnies y a-t-il ?

Le jeu de données flights contient les compagnies comme facteurs, mais nous ne savons pas si de nouvelles compagnies apparaîtront avec de nouvelles données.

flights %>%
  select(carrier) %>%
  table()

carrier
  9E   AA   AS   B6   DL   EV   F9   FL   HA   MQ   OO   UA   US   VX   WN   YV 
 859 1744   26 2503 2619 3014   38  186   14 1540    2 3367 1228  244  757   41

Hachons cette caractéristique

Nous pouvons créer des « dummy hashes » pour représenter les valeurs du facteur, avec le package textrecipes.

recipe <- recipe(~carrier, 
                 data = flights_train) %>%
  step_dummy_hash(carrier, prefix = NULL, 
                  signed = FALSE, 
                  num_terms = 50L)
# Prep the recipe
object <- recipe %>%
  prep()

# Bake the recipe object with new data
baked <- bake(object,
              new_data = flights_test)

Aperçu de la représentation de step_dummy_hash().

bind_cols(flights_test$carrier,baked)[1:6,c(1,18:20)]

New names:
• `` -> `...1`
# A tibble: 10 × 4
   ...1  `_carrier_17` `_carrier_18` `_carrier_19`
   <chr>         <int>         <int>         <int>
 1 EV                0             0             0
 2 B6                0             1             0
 3 EV                0             0             0
 4 MQ                0             0             0
 5 DL                0             0             0
 6 EV                0             0             0

Visualiser le hachage

Examinons la matrice avec le package plot.matrix.

flights_hash <- 
    as.matrix(baked)[1:50,] 

plot(flights_hash, 
     col = c("white","steelblue"), 
     key = NULL,
     border = NA)

Représentation graphique d’un échantillon des attributions de "dummy hash" pour le facteur compagnie d’origine.

Passons à la pratique !

Feature engineering en R