Notions de base du nettoyage de texte

Introduction au traitement automatique des langues en R

Kasey Jones

Research Data Scientist

Jeu de données sur les tweets russes

3 millions de tweets de trolls russes

L'ensemble « Russian Troll Tweets » provient de fivethirtyeight et regroupe 3 millions de tweets générés par des robots durant l'élection américaine de 2016.

Nous examinerons les 20 000 premiers tweets
Les données incluent le tweet, abonnés, abonnements, date de publication, type de compte, etc.
Excellent jeu de données pour la modélisation de sujets, la classification, la reconnaissance d'entités nommées, etc.

¹ https://github.com/fivethirtyeight/russian-troll-tweets

Mots les plus fréquents

library(tidytext); library(dplyr)
russian_tweets %>%
  unnest_tokens(word, content) %>%
  count(word, sort = TRUE)

# A tibble: 44,318 x 2
   word      n
   <chr> <int>
 1 t.co  18121
 2 https 16003
 3 the    7226
 4 to     5279
 ...

Retirer les mots vides

tidy_tweets <- russian_tweets %>%
  unnest_tokens(word, content) %>%
  anti_join(stop_words)

tidy_tweets %>%
  count(word, sort = TRUE)

 1 t.co             18121
 2 https            16003
 3 http              2135
 4 blacklivesmatter  1292
 5 trump             1004
 ...

# A tibble: 1,149 x 2
   word        lexicon
   <chr>       <chr>  
 1 a           SMART  
 2 a's         SMART  
 3 able        SMART  
 4 about       SMART  
 5 above       SMART

Mots vides personnalisés

custom <- add_row(stop_words, word = "https", lexicon = "custom")
custom <- add_row(custom, word = "http", lexicon = "custom")
custom <- add_row(custom, word = "t.co", lexicon = "custom")

russian_tweets %>%
  unnest_tokens(word, content) %>%
  anti_join(custom) %>%
  count(word, sort = TRUE)

Résultats finaux

# A tibble: 43,663 x 2
   word                 n
   <chr>            <int>
 1 blacklivesmatter  1292
 2 trump             1004
 3 black              781
 4 enlist             764
 5 police             745
 6 people             723
 7 cops               693

Stemming

enlisted ---> enlist
enlisting ---> enlist

library(SnowballC)
tidy_tweets <- russian_tweets %>%
  unnest_tokens(word, content) %>%
  anti_join(custom)
# Stemming
stemmed_tweets <- tidy_tweets %>%
  mutate(word = wordStem(word))

Résultats du stemming

# A tibble: 38,907 x 2
   word               n
   <chr>          <int>
 1 blacklivesmatt  1301
 2 cop             1016
 3 trump           1013
 4 black            848
 5 enlist           809
 6 polic            763
 7 peopl            730

À vous d'essayer.

Introduction au traitement automatique des langues en R