你认识多少单词？齐夫定律与主观性词典

R 中的情感分析

Ted Kwartler

Data Dude

主观性词典

library(qdap)
library(magrittr)

text_df %$% polarity(text)

返回包含正负分数的"polarity"对象。

主观性词典是预先定义的词表，关联情感语境，如正/负，或具体情绪如"沮丧"或"喜悦"。

R 中的情感分析

主观性词典来源

  • qdap 的 polarity() 使用 hash_sentiment_huliu 词典

  • tidytext 提供 sentiments tibble，包含

    • NRC - 按8种情绪（如"愤怒""喜悦"）及正/负标注的词
    • Bing - 标注为正或负的词
    • AFINN - 评分为 -5 到 5 的词
R 中的情感分析

library(lexicon)

名称 说明
dodds_sentiment Mechanical Turk 情感词
hash_emoticons 基础标点表情符号 :) 的对应表
hash_sentiment_huliu 伊利诺伊大学@芝加哥 正/负极性词研究
hash_sentiment_jockers 源自 library(syuzhet) 的词典
hash_sentiment_nrc 众包评分的 5468 个词，分值介于 -1 与 1
R 中的情感分析

不可能！词太少了。

思考

  • 齐夫定律
  • 最小努力原则
R 中的情感分析

齐夫定律实战

排名 城市 2010年人口普查 实际占比 齐夫预期占比
1 纽约 8,175,133 100% ...
2 洛杉矶 3,792,621 46% 50%
3 芝加哥 2,695,598 33% 33%
4 休斯敦 2,100,263 26% 25%
5 费城 1,526,006 19% 20%
R 中的情感分析

最小努力原则

若达成同一目标有多种方式，人们会选择最省力的那一种

懒猫

R 中的情感分析

接下来...

推特标志

橄榄球

R 中的情感分析

让我们练习！

R 中的情感分析

Preparing Video For Download...