Скільки слів ВИ знаєте? Закон Зіпфа та лексикон суб'єктивності

Аналіз тональності в R

Ted Kwartler

Data Dude

Лексикон суб'єктивності

library(qdap)
library(magrittr)

text_df %$% polarity(text)

Повертає об'єкт "polarity" з позитивними та негативними оцінками.

Лексикон суб'єктивності — це заздалегідь підготовлений список слів, пов'язаних з емоційним контекстом, як-от позитивний/негативний або конкретні емоції на кшталт «frustration» чи «joy».

Де взяти лексикони суб'єктивності?

Функція polarity() з qdap використовує лексикон з hash_sentiment_huliu
У tidytext є tibble sentiments з
- NRC — Слова за 8 емоціями, як-от «angry» чи «joy», та Pos/Neg
- Bing — Слова, позначені як позитивні або негативні
- AFINN — Слова з оцінками від -5 до 5

library(lexicon)

Name	Description
`dodds_sentiment`	Mechanical Turk Sentiment Words
`hash_emoticons`	Переклади базових емотиконів із розділових знаків :)
`hash_sentiment_huliu`	Дослідження полярності (+/-) слів U of IL @CHI
`hash_sentiment_jockers`	Лексикон, успадкований з `library(syuzhet)`
`hash_sentiment_nrc`	5468 слів, оцінювання краудсорсом між -1 і 1

Та ну! Надто мало слів.

замисленість

Закон Зіпфа
Принцип найменших зусиль

Закон Зіпфа в дії

Rank	City	2010 Census Population	Actual %	Zipf's Expected %
1	New York	8,175,133	100%	...
2	LA	3,792,621	46%	50%
3	Chicago	2,695,598	33%	33%
4	Houston	2,100,263	26%	25%
5	Philadelphia	1,526,006	19%	20%

Принцип найменших зусиль

Якщо є кілька способів досягти мети, люди оберуть найменш затратний варіант

ледачий кіт

Далі...

логотип twitter

футбол

Давайте потренуємось!

Аналіз тональності в R