不同的频率准则

使用 R 的 Bag-of-Words 进行文本挖掘

Ted Kwartler

Instructor

词权重

  • 默认词频 = 简单词数
  • 高频词会掩盖洞见
  • 通过 TfIdf 调整词权重
  • 出现在许多文档中的词会被惩罚

wordcloud2.png

使用 R 的 Bag-of-Words 进行文本挖掘

词权重

# Standard term weighting
tf_tdm <- TermDocumentMatrix(text_corp)
tf_tdm_m <- as.matrix(tf_dtm)
tf_tdm_m[505:510, 5:10]

tdf.png

# TfIdf weighting
tf_idf_tdm <- TermDocumentMatrix(text_corp, 
    control = list(weighting = weightTfIdf))
tf_idf_tdm_m <- as.matrix(tf_idf_dtm)
tf_tdm_m <- as.matrix(tf_dtm)

tfidf.png

使用 R 的 Bag-of-Words 进行文本挖掘

保留文档元数据

# Ensure the first 2 columns are doc_id & text
names(tweets)[1:2] <- c('doc_id','text')

# Create VCorpus including metadata
test_corpus <- VCorpus(DataframeSource(tweets))

# Clean and view results
text_corpus <- clean_corpus(text_corpus)
content(text_corpus[[1]])

$content
[1] "ayyytylerb true drink lots coffee"

meta(text_corpus[[1]])

$meta
  id      : 1
  author  : thejennagibson
  date    : 8/9/2013 2:43
  language: en
使用 R 的 Bag-of-Words 进行文本挖掘

让我们来练习！

使用 R 的 Bag-of-Words 进行文本挖掘

Preparing Video For Download...