Ämnesmodellering av tweets

Analysera data från sociala medier i R

Vivek Vijayaraghavan

Data Science Coach

Lektionsöversikt

Grunderna i ämnesmodellering
Skapa en dokument-termmatris (DTM)
Bygg en ämnesmodell från DTM:en

Ämne och dokument

Definition av ämne och exempel

Ämne och dokument

Definition av dokument och exempel

Ämnesmodellering

Automatisk identifiering av ämnen
Extrahera centrala diskussionsämnen från stora datamängder
Sammanfatta stor mängd information i ämnen

Hur LDA fungerar

Latent Dirichlet Allocation-algoritmen för ämnesmodellering

Hur LDA fungerar

Dokument-termmatris (DTM)

Skapa en dokument-termmatris
DTM är en matrisrepresentation av ett korpus
Dokument är rader och ord eller termer är kolumner

Dokument-termmatris (DTM)

Skapa en dokument-termmatris

# Create a document term matrix
dtm <- DocumentTermMatrix(twt_corpus_refined)

Skapa en dokument-termmatris

# Inspect the DTM
inspect(dtm)

Skapa en dokument-termmatris

<<DocumentTermMatrix (documents: 1000, terms: 5079)>>
Non-/sparse entries: 12862/5066138
Sparsity           : 100%
Maximal term length: 29
Weighting          : term frequency (tf)
Sample             :
     Terms
Docs    california child diabetes fat food health people ranks rates weight
  131          0     0        0   0    0      0      0     0     0      0
  161          0     0        0   2    0      0      0     0     0      1
  295          0     0        0   0    1      0      1     0     0      0
  418          0     0        0   0    0      0      0     0     1      0
  604          0     0        1   0    0      1      0     0     0      0

Förbereda DTM:en

Filtrera DTM:en på rader med en radsumma större än 0

# Find the sum of word counts in each Document 
rowTotals <- apply(dtm , 1, sum)

# Select rows from DTM with row totals greater than zero
tweet_dtm_new <- dtm[rowTotals> 0, ]

Bygg ämnesmodellen

Skapa ämnesmodellen med funktionen LDA()

# Build the topic model
library(topicmodels)
lda_5 <- LDA(tweet_dtm_new, k = 5)

Bygg ämnesmodellen

Extraherade 5 ämnen från tweet-korpuset

# View top 10 terms in the topic model
top_10terms <- terms(lda_5,10)
top_10terms

Visa de 10 vanligaste termerna i ämnesmodellen

     Topic 1        Topic 2        Topic 3     Topic 4      Topic 5   
 [1,] "disease"      "people"       "black"     "child"      "weight"  
 [2,] "health"       "health"       "fat"       "rates"      "diet"    
 [3,] "cancer"       "diabetes"     "trump"     "ranks"      "food"    
 [4,] "meghanmccain" "overweight"   "childhood" "california" "diabetes"
 [5,] "realcandaceo" "fat"          "health"    "fat"        "health"  
 [6,] "food"         "meghanmccain" "professor" "eat"        "bmi"     
 [7,] "risk"         "realcandaceo" "gender"    "people"     "problem" 
 [8,] "heart"        "body"         "studies"   "epidemic"   "eating"  
 [9,] "weight"       "weight"       "healthy"   "health"     "disease" 
[10,] "diabetes"     "obese"        "problem"   "healthy"    "family"

Ett program för vikthantering kan bygga sitt tema kring ett centralt ämne

Nu kör vi en övning!

Analysera data från sociala medier i R