Similarité cosinus

Introduction au traitement automatique des langues en R

Kasey Jones

Research Data Scientist

Sortie TF‑IDF

# A tibble: 1,498 x 6
       X word         n     tf   idf tf_idf
   <int> <chr>    <int>  <dbl> <dbl>  <dbl>
 1    20 january      4 0.0930  2.30  0.214
 2    15 power        4 0.0690  3.00  0.207
 3    19 futures      9 0.0643  3.00  0.193
 4     8 8            6 0.0619  3.00  0.185
 5     3 canada       2 0.0526  3.00  0.158
 6     3 canadian     2 0.0526  3.00  0.158

Similarité cosinus

mesure de similarité entre deux vecteurs
mesurée par l'angle formé par ces deux vecteurs

La similarité cosinus mesure l'angle entre deux vecteurs. Imaginez l'angle formé par deux lignes.

¹ https://en.wikipedia.org/wiki/Cosine_similarity

Formule de similarité cosinus

la similarité se calcule par le produit scalaire des deux vecteurs

Calculer le produit scalaire de deux vecteurs indique leur similarité.

Repérer des similarités : partie I

crude_weights <- crude_tibble %>%
  unnest_tokens(output = "word", token = "words", input = text) %>%
  anti_join(stop_words) %>%
  count(word, X) %>%
  bind_tf_idf(word, X, n)

# A tibble: 1,498 x 6
       X word          n    tf   idf tf_idf
   <int> <chr>     <int> <dbl> <dbl>  <dbl>
 1     1 1.50          1 0.25   3.25  0.812
 2     1 16.00         1 1      3.25  3.25 
 3     1 barrel        2 0.133  3.25  0.433
 ...

Similarité par paires

pairwise_similarity(tbl, item, feature, value, ...)

tbl : une table ou un tibble
item : les éléments à comparer (articles, tweets, etc.)
feature : colonne décrivant le lien entre les éléments (p. ex. mots)
value : la colonne de valeurs (p. ex. n ou tf_idf)

Repérer des similarités : partie II

crude_weights %>%
  pairwise_similarity(X, word, tf_idf) %>%
  arrange(desc(similarity))

# A tibble: 380 x 3
   item1 item2 similarity
   <int> <int>      <dbl>
 1    17    16      0.663
 2    16    17      0.663
 3    13    10      0.311
 4    10    13      0.311
 ...

Cas d'usage de la similarité cosinus

repérer des textes dupliqués/similaires
utile pour le regroupement et la classification
...

Passons à la pratique !

Introduction au traitement automatique des langues en R