Procesarea textului de pe Twitter

Analiza datelor din social media în R

Vivek Vijayaraghavan

Data Science Coach

Prezentarea lecției

  • De ce procesăm textul din tweet-uri?
  • Pași în procesarea textului
    • eliminarea informațiilor redundante
    • Convertirea textului într-un corpus
    • Eliminarea cuvintelor de oprire
Analiza datelor din social media în R

De ce procesăm textul din tweet-uri?

  • Textul tweet-urilor este nestructurat, zgomotos și brut
  • Conține emoticoane, URL-uri, cifre
  • Este necesar text curat pentru analiză și rezultate fiabile
Analiza datelor din social media în R

Pași în procesarea textului

Pasul 1: Eliminarea informațiilor redundante

Analiza datelor din social media în R

Pași în procesarea textului

Pasul 2: Convertirea textului într-un corpus

Analiza datelor din social media în R

Pași în procesarea textului

Pasul 3: Convertire în litere mici

Analiza datelor din social media în R

Pași în procesarea textului

Pasul 4: Eliminarea cuvintelor de oprire

Analiza datelor din social media în R

Extragerea textului din tweet-uri

# Extract 1000 tweets on "Obesity" in English and exclude retweets
tweets_df <- search_tweets("Obesity", n = 1000, include_rts = F, lang = 'en')

# Extract the tweet texts and save it in a data frame
twt_txt <- tweets_df$text
Analiza datelor din social media în R

Extragerea textului din tweet-uri

head(twt_txt, 3)

[1] "@WeeaUwU for real, obesity should not be praised like it is in today's society" 

[2] "Great work by @DosingMatters in @AJHPOfficial on \"Vancomycin Vd estimation in 
adults with class III obesity\". As we continue to study/learn more about dosing in 
large body weight pts, we see that it's not a simple, one size, one level estimate 
that works https://t.co/KkYPqS6JzG" 

[3] "The Scottish Government have an ambition to halve childhood obesity by 2030. 
This means reducing obesity prevalence in 2-15yo children in Scotland to 7%. 
\n\n\U0001f449 In 2018, this figure was 16%\n\nFind out more in our latest blog: 
https://t.co/FWp56QWjQc https://t.co/XBK8Je7F1A"
Analiza datelor din social media în R

Eliminarea URL-urilor

# Remove URLs from the tweet text
library(qdapRegex)
twt_txt_url <- rm_twitter_url(twt_txt)
Analiza datelor din social media în R

Eliminarea URL-urilor

twt_txt_url[1:3]

[1] "@WeeaUwU for real, obesity should not be praised like it is in today's society"

[2] "Great work by @DosingMatters in @AJHPOfficial on \"Vancomycin Vd estimation in  adults 
with class III obesity\". As we continue to study/learn more about dosing in large body 
weight pts, we see that it's not a simple, one size, one level estimate that works"

[3] "The Scottish Government have an ambition to halve childhood obesity by 2030. 
This means reducing obesity prevalence in 2-15yo children in Scotland to 7%. 
\U0001f449In 2018, this figure was 16% Find out more in our latest blog:"
Analiza datelor din social media în R

Caractere speciale, punctuație și cifre

# Remove special characters, punctuation & numbers
twt_txt_chrs  <- gsub("[^A-Za-z]", " ", twt_txt_url)
Analiza datelor din social media în R

Caractere speciale, punctuație și cifre

twt_txt_chrs[1:3]

[1] " WeeaUwU for real  obesity should not be praised like it is in today s society"

[2] "Great work by  DosingMatters in  AJHPOfficial on  Vancomycin Vd estimation in 
adults with class III obesity   As we continue to study learn more about dosing in 
large body weight pts  we see that it s not a simple  one size  one level estimate 
that works"

[3] "The Scottish Government have an ambition to halve childhood obesity by       This 
means reducing obesity prevalence in     yo children in Scotland to       In       this 
figure was     Find out more in our latest blog "
Analiza datelor din social media în R

Convertirea în corpus de text

# Convert to text corpus
library(tm)
twt_corpus <- twt_txt_chrs %>% 
                VectorSource() %>% 
                Corpus()

twt_corpus[[3]]$content

[1] "The Scottish Government have an ambition to halve childhood obesity by       
This means reducing obesity prevalence in     yo children in Scotland to       In  
     this figure was     Find out more in our latest blog "
Analiza datelor din social media în R

Convertire în litere mici

  • Un cuvânt nu trebuie contorizat ca două cuvinte diferite dacă diferă doar prin majuscule
# Convert text corpus to lowercase
twt_corpus_lwr <- tm_map(twt_corpus, tolower) 
twt_corpus_lwr[[3]]$content

[1] "the scottish government have an ambition to halve childhood obesity by     this 
means reducing obesity prevalence in     yo children in scotland to       in    this 
figure was     find out more in our latest blog "
Analiza datelor din social media în R

Ce sunt cuvintele de oprire?

  • Cuvintele de oprire sunt cuvinte frecvente precum a, an, and, but
# Common stop words in English
stopwords("english")

Cuvinte de oprire implicite în engleză

Analiza datelor din social media în R

Eliminarea cuvintelor de oprire

  • Cuvintele de oprire trebuie eliminate pentru a se concentra pe cuvintele importante
# Remove stop words from corpus
twt_corpus_stpwd <- tm_map(twt_corpus_lwr, removeWords, stopwords("english"))

twt_corpus_stpwd[[3]]$content


[1] " scottish government   ambition  halve childhood obesity         means 
reducing obesity prevalence      yo children  scotland                figure      
find     latest blog "
Analiza datelor din social media în R

Eliminarea spațiilor suplimentare

  • Eliminați spațiile suplimentare pentru un corpus curat
# Remove additional spaces
twt_corpus_final <- tm_map(twt_corpus_stpwd, stripWhitespace)

twt_corpus_final[[3]]$content

[1] " scottish government ambition halve childhood obesity means reducing obesity 
prevalence yo children scotland figure find latest blog "
Analiza datelor din social media în R

Să exersăm!

Analiza datelor din social media în R

Preparing Video For Download...