La représentation sac de mots

Introduction au traitement automatique des langues en R

Kasey Jones

Research Data Scientist

L'exemple précédent

animal_farm %>%
  unnest_tokens(output = "word", token = "words",
                input = text_column) %>%
  anti_join(stop_words) %>%
  count(word, sort = TRUE)

# A tibble: 3,611 x 2
   word         n
   <chr>    <int>
 1 animals    248
 2 farm       163
 ...
Introduction au traitement automatique des langues en R

La représentation sac de mots

text1 <- c("Few words are important.")
text2 <- c("All words are important.")
text3 <- c("Most words are important.")

Mots uniques :

  • few : seulement dans text1
  • all : seulement dans text2
  • most : seulement dans text3
  • words, are, important
Introduction au traitement automatique des langues en R

Représentations vectorielles typiques

# Minuscules, sans mots vides
word_vector <- c("few", "all", "most", "words", "important")

# Représentation pour text1
text1 <- c("Few words are important.")
text1_vector <- c(1, 0, 0, 1, 1)
# Représentation pour text2
text2 <- c("All words are important.")
text2_vector <- c(0, 1, 0, 1, 1)
# Représentation pour text3
text3 <- c("Most words are important.")
text3_vector <- c(0, 0, 1, 1, 1)
Introduction au traitement automatique des langues en R

Représentation tidytext

words <- animal_farm %>%
    unnest_tokens(output = "word", token = "words", input = text_column) %>%
    anti_join(stop_words) %>%
    count(chapter, word, sort = TRUE)
words

# A tibble: 6,807 x 3
   chapter    word         n
   <chr>      <chr>    <int>
 1 Chapter 8  napoleon    43
 2 Chapter 8  animals     41
 3 Chapter 9  boxer       34
...
Introduction au traitement automatique des langues en R

Exemple avec un mot

words %>%
  filter(word == 'napoleon') %>%
  arrange(desc(n))

# A tibble: 9 x 3
  chapter    word         n
  <chr>      <chr>    <int>
1 Chapter 8  napoleon    43
2 Chapter 7  napoleon    24
3 Chapter 5  napoleon    22
...
8 Chapter 3  napoleon     3
9 Chapter 4  napoleon     1
Introduction au traitement automatique des langues en R

Matrices creuses

library(tidytext); library(dplyr)
russian_tweets <- read.csv("russian_1.csv")
russian_tweets <- as_tibble(russian_tweets)

tidy_tweets <- russian_tweets %>%
  unnest_tokens(word, content) %>%
  anti_join(stop_words)
tidy_tweets %>%
  count(word, sort = TRUE)

# A tibble: 43,666 x 2
...
Introduction au traitement automatique des langues en R

Matrices creuses : suite

Matrice creuse

  • 20 000 lignes (les tweets)
  • 43 000 colonnes (les mots)
  • 20 000 × 43 000 = 860 000 000
  • Seulement 177 000 entrées non nulles. Environ 0,02 %

Exemple de matrice creuse : Les matrices creuses contiennent très peu d'entrées non nulles. Les visualiser revient surtout à voir des zéros.

Introduction au traitement automatique des langues en R

Exercices BoW

Introduction au traitement automatique des langues en R

Preparing Video For Download...