फीचर हैशिंग

R में Feature Engineering

Jorge Zazueta

Research Professor and Head of the Modeling Group at the School of Economics, UASLP

Feature hashing क्या है?

किसी टेक्स्ट वैरिएबल को कई संख्यात्मक वैरिएबल में बदलता है
फीचर इंडेक्स के रूप में hash values उपयोग करता है
डेटा का लो-मेemory प्रतिनिधित्व
जब नया डेटा आए तो नई कैटेगरी की उम्मीद हो, तब उपयोगी

टेक्स्ट वैल्यू के आधार पर हर carrier को एक इंडेक्स नंबर दें।

एयरलाइन carriers के लिए फीचर हैशिंग दर्शाती तालिका.

कितने carriers हैं?

flights डेटासेट में carriers फैक्टर्स के रूप में हैं, लेकिन हमें नहीं पता कि नए डेटा पर नए carriers दिखेंगे या नहीं।

flights %>%
  select(carrier) %>%
  table()

carrier
  9E   AA   AS   B6   DL   EV   F9   FL   HA   MQ   OO   UA   US   VX   WN   YV 
 859 1744   26 2503 2619 3014   38  186   14 1540    2 3367 1228  244  757   41

आइए उस फीचर को हैश करें

हम फैक्टर वैल्यूज़ को दर्शाने के लिए dummy hashes बना सकते हैं. textrecipes पैकेज का उपयोग करें।

recipe <- recipe(~carrier, 
                 data = flights_train) %>%
  step_dummy_hash(carrier, prefix = NULL, 
                  signed = FALSE, 
                  num_terms = 50L)
# Prep the recipe
object <- recipe %>%
  prep()

# Bake the recipe object with new data
baked <- bake(object,
              new_data = flights_test)

step_dummy_hash() प्रतिनिधित्व पर एक नज़र।

bind_cols(flights_test$carrier,baked)[1:6,c(1,18:20)]

New names:
• `` -> `...1`
# A tibble: 10 × 4
   ...1  `_carrier_17` `_carrier_18` `_carrier_19`
   <chr>         <int>         <int>         <int>
 1 EV                0             0             0
 2 B6                0             1             0
 3 EV                0             0             0
 4 MQ                0             0             0
 5 DL                0             0             0
 6 EV                0             0             0

हैशिंग का विज़ुअलाइज़ेशन

plot.matrix पैकेज की मदद से हम मैट्रिक्स देख सकते हैं।

flights_hash <- 
    as.matrix(baked)[1:50,] 

plot(flights_hash, 
     col = c("white","steelblue"), 
     key = NULL,
     border = NA)

मूल carrier फैक्टर के dummy hash असाइनमेंट के सैंपल का ग्राफिकल प्रतिनिधित्व.

अभ्यास करते हैं!

R में Feature Engineering