Mô hình chủ đề cho tweet

Phân tích dữ liệu mạng xã hội bằng R

Vivek Vijayaraghavan

Data Science Coach

Tổng quan bài học

Nền tảng mô hình chủ đề
Tạo ma trận thuật ngữ tài liệu (DTM)
Xây dựng mô hình chủ đề từ DTM

Chủ đề và Tài liệu

Định nghĩa chủ đề và ví dụ

Chủ đề và Tài liệu

Định nghĩa tài liệu và ví dụ

Mô hình chủ đề

Tự động khám phá chủ đề
Trích xuất chủ đề thảo luận cốt lõi từ dữ liệu lớn
Tóm tắt nhanh lượng thông tin lớn thành các chủ đề

Cách LDA hoạt động

Thuật toán Latent Dirichlet Allocation cho mô hình chủ đề

Cách LDA hoạt động

Ma trận thuật ngữ tài liệu (DTM)

Tạo ma trận thuật ngữ tài liệu (DTM)
DTM là biểu diễn ma trận của một kho văn bản
Hàng là tài liệu, cột là từ/thuật ngữ

Ma trận thuật ngữ tài liệu (DTM)

Tạo ma trận thuật ngữ tài liệu

# Create a document term matrix
dtm <- DocumentTermMatrix(twt_corpus_refined)

Tạo ma trận thuật ngữ tài liệu

# Inspect the DTM
inspect(dtm)

Tạo ma trận thuật ngữ tài liệu

<<DocumentTermMatrix (documents: 1000, terms: 5079)>>
Non-/sparse entries: 12862/5066138
Sparsity           : 100%
Maximal term length: 29
Weighting          : term frequency (tf)
Sample             :
     Terms
Docs    california child diabetes fat food health people ranks rates weight
  131          0     0        0   0    0      0      0     0     0      0
  161          0     0        0   2    0      0      0     0     0      1
  295          0     0        0   0    1      0      1     0     0      0
  418          0     0        0   0    0      0      0     0     1      0
  604          0     0        1   0    0      1      0     0     0      0

Chuẩn bị DTM

Lọc DTM cho các hàng có tổng hàng > 0

# Find the sum of word counts in each Document 
rowTotals <- apply(dtm , 1, sum)

# Select rows from DTM with row totals greater than zero
tweet_dtm_new <- dtm[rowTotals> 0, ]

Xây dựng mô hình chủ đề

Tạo mô hình chủ đề bằng hàm LDA()

# Build the topic model
library(topicmodels)
lda_5 <- LDA(tweet_dtm_new, k = 5)

Xây dựng mô hình chủ đề

Trích xuất 5 chủ đề từ kho tweet

# View top 10 terms in the topic model
top_10terms <- terms(lda_5,10)
top_10terms

Xem 10 thuật ngữ hàng đầu trong mô hình

     Topic 1        Topic 2        Topic 3     Topic 4      Topic 5   
 [1,] "disease"      "people"       "black"     "child"      "weight"  
 [2,] "health"       "health"       "fat"       "rates"      "diet"    
 [3,] "cancer"       "diabetes"     "trump"     "ranks"      "food"    
 [4,] "meghanmccain" "overweight"   "childhood" "california" "diabetes"
 [5,] "realcandaceo" "fat"          "health"    "fat"        "health"  
 [6,] "food"         "meghanmccain" "professor" "eat"        "bmi"     
 [7,] "risk"         "realcandaceo" "gender"    "people"     "problem" 
 [8,] "heart"        "body"         "studies"   "epidemic"   "eating"  
 [9,] "weight"       "weight"       "healthy"   "health"     "disease" 
[10,] "diabetes"     "obese"        "problem"   "healthy"    "family"

Chương trình quản lý béo phì có thể xoay quanh một chủ đề cốt lõi

Ayo berlatih!

Phân tích dữ liệu mạng xã hội bằng R