TFIDF
Introducere în Prelucrarea Limbajului Natural în R
Kasey Jones
Research Data Scientist
Limitele modelului bag-of-words
t1 <- "My name is John. My best friend is Joe. We like tacos."
t2 <- "Two common best friend names are John and Joe."
t3 <- "Tacos are my favorite food. I eat them with my buddy Joe."
clean_t1 <- "john friend joe tacos"
clean_t2 <- "common friend john joe names"
clean_t3 <- "tacos favorite food eat buddy joe"
Cuvinte comune
clean_t1 <- "john friend joe tacos"
clean_t2 <- "common friend john joe names"
clean_t3 <- "tacos favorite food eat buddy joe"
Comparație t1 și t2
- 3/4 cuvinte din t1 se regăsesc în t2
- 3/5 cuvinte din t2 se regăsesc în t1
Comparație t1 și t3
- 2/4 cuvinte din t1 se regăsesc în t3
- 2/6 cuvinte din t3 se regăsesc în t1
Tacos contează
t1 <- "My name is John. My best friend is Joe. We like tacos."
t2 <- "Two common best friend names are John and Joe."
t3 <- "Tacos are my favorite food. I eat them with my friend Joe."
Cuvinte în fiecare text:
- John: t1, t2
- Joe: t1, t2, t3
- Tacos: t1, t3
TFIDF
clean_t1 <- "john friend joe tacos"
clean_t2 <- "common friend john joe names"
clean_t3 <- "tacos favorite food eat buddy joe"
- TF: Frecvența termenului
- Proporția cuvintelor dintr-un text care reprezintă acel termen
- john apare în 1/4 cuvinte din
clean_t1, tf = .25
- IDF: Frecvența inversă a documentului
- Ponderea frecvenței unui termen în toate documentele
- john apare în 3/3 documente, IDF = 0
Ecuația IDF
$ IDF = log \frac{N}{n_{t}} $
- N: numărul total de documente din corpus
- $n_{t}$: numărul de documente în care apare termenul
Exemplu:
- IDF Taco: $log (\frac{3}{2}) = .405$
- IDF Buddy: $log (\frac{3}{1}) = 1.10$
- IDF John: $log (\frac{3}{3}) = 0$
TF + IDF
clean_t1 <- "john friend joe tacos"
clean_t2 <- "common friend john joe names"
clean_t3 <- "tacos favorite food eat buddy joe"
TFIDF pentru "tacos":
- clean_t1: TF * IDF = (1/4) * (.405) = 0.101
- clean_t2: TF * IDF = (0/4) * (.405) = 0
- clean_t3: TF * IDF = (1/6) * (.405) = 0.068
Calcularea matricei TFIDF
# Create a data.frame
df <- data.frame('text' = c(t1, t2, t3), 'ID' = c(1, 2, 3))
df %>%
unnest_tokens(output = "word", token = "words", input = text) %>%
anti_join(stop_words) %>%
count(ID, word, sort = TRUE) %>%
bind_tf_idf(word, ID, n)
- word: coloana cu termenii
- ID: coloana cu ID-urile documentelor
- n: numărul de apariții produs de
count()
Rezultatul bind_tf_idf
# A tibble: 15 x 6
X word n tf idf tf_idf
<dbl> <chr> <int> <dbl> <dbl> <dbl>
1 1 friend 1 0.25 0.405 0.101
2 1 joe 1 0.25 0 0
3 1 john 1 0.25 0.405 0.101
4 1 tacos 1 0.25 0.405 0.101
5 2 common 1 0.2 1.10 0.220
6 2 friend 1 0.2 0.405 0.0811
...
Practică TFIDF
Introducere în Prelucrarea Limbajului Natural în R
