あなたはいくつの単語を知っている？ジップの法則と主観性レキシコン

Rで学ぶSentiment Analysis

Ted Kwartler

Data Dude

主観性レキシコン

library(qdap)
library(magrittr)

text_df %$% polarity(text)

ポジティブ・ネガティブスコアを含む「polarity」オブジェクトを返します。

主観性レキシコンとは、ポジティブ/ネガティブや「不満」「喜び」などの感情と関連付けられた単語の定義済みリストです。

Rで学ぶSentiment Analysis

主観性レキシコンの入手先

  • qdapのpolarity()関数はhash_sentiment_huliuのレキシコンを使用

  • tidytextには以下を含むsentimentstibbleがあります

    • NRC - 「怒り」「喜び」など8感情およびPos/Negで分類
    • Bing - ポジティブ/ネガティブのラベル付き単語
    • AFINN - -5〜5のスコア付き単語
Rで学ぶSentiment Analysis

library(lexicon)

名前 説明
dodds_sentiment Mechanical Turkの感情語
hash_emoticons 基本的な顔文字の変換 :)
hash_sentiment_huliu イリノイ大学@CHIの極性(+/-)語研究
hash_sentiment_jockers library(syuzhet)から継承されたレキシコン
hash_sentiment_nrc 5468語をクラウドソーシングで-1〜1のスコア付け
Rで学ぶSentiment Analysis

まさか！単語数が少なすぎる。

考える人

  • ジップの法則
  • 最小努力の原則
Rで学ぶSentiment Analysis

ジップの法則の実例

順位 都市 2010年国勢調査人口 実際の割合 ジップの予測割合
1 ニューヨーク 8,175,133 100% ...
2 LA 3,792,621 46% 50%
3 シカゴ 2,695,598 33% 33%
4 ヒューストン 2,100,263 26% 25%
5 フィラデルフィア 1,526,006 19% 20%
Rで学ぶSentiment Analysis

最小努力の原則

同じ目標を達成する方法が複数ある場合、人は最も労力のかからない方法を選ぶ

怠け猫

Rで学ぶSentiment Analysis

次のトピック...

Twitterロゴ

フットボール

Rで学ぶSentiment Analysis

では、練習しましょう！

Rで学ぶSentiment Analysis

Preparing Video For Download...