Сколько слов вы знаете? Закон Ципфа и субъективный лексикон

Анализ тональности в R

Ted Kwartler

Data Dude

Субъективный лексикон

library(qdap)
library(magrittr)

text_df %$% polarity(text)

Возвращает объект «polarity» с положительными и отрицательными оценками.

Субъективный лексикон — это заранее составленный список слов, связанных с эмоциональным контекстом: положительным/отрицательным или конкретными эмоциями, такими как «разочарование» или «радость».

Где найти субъективные лексиконы?

Функция polarity() из qdap использует лексикон hash_sentiment_huliu
В tidytext есть таблица sentiments с
- NRC — слова, связанные с 8 эмоциями, такими как «гнев» или «радость», и метками Pos/Neg
- Bing — слова с метками «положительное» или «отрицательное»
- AFINN — слова с оценками от -5 до 5

library(lexicon)

Название	Описание
`dodds_sentiment`	Слова с тональностью, размеченные через Mechanical Turk
`hash_emoticons`	Расшифровка стандартных текстовых смайликов :)
`hash_sentiment_huliu`	Исследование полярности (+/-) слов, U of IL @CHI
`hash_sentiment_jockers`	Лексикон из `library(syuzhet)`
`hash_sentiment_nrc`	5468 слов с краудсорсинговыми оценками от -1 до 1

Слов слишком мало!

думает

Закон Ципфа
Принцип наименьших усилий

Закон Ципфа в действии

Ранг	Город	Население по переписи 2010 г.	Фактическая %	Ожидаемая % по Ципфу
1	Нью-Йорк	8 175 133	100%	...
2	Лос-Анджелес	3 792 621	46%	50%
3	Чикаго	2 695 598	33%	33%
4	Хьюстон	2 100 263	26%	25%
5	Филадельфия	1 526 006	19%	20%

Принцип наименьших усилий

Если существует несколько способов достичь одной цели, люди выбирают наименее затратный

ленивый кот

Далее...

логотип Twitter

футбол

Давайте потренируемся!

Анализ тональности в R