Hur många ord kan DU? Zipfs lag & subjektivitetslexikon

Sentimentanalys i R

Ted Kwartler

Data Dude

Subjektivitetslexikon

library(qdap)
library(magrittr)

text_df %$% polarity(text)

Returnerar ett "polarity"-objekt med positiva och negativa poäng.

Ett subjektivitetslexikon är en fördefinierad ordlista kopplad till emotionell kontext, till exempel positiv/negativ, eller specifika känslor som "frustration" eller "glädje".

Var hittar man subjektivitetslexikon?

qdap:s funktion polarity() använder ett lexikon från hash_sentiment_huliu
tidytext har en sentiments-tibble med
- NRC – Ord kopplade till 8 känslor som "ilska" eller "glädje" samt Pos/Neg
- Bing – Ord märkta som positiva eller negativa
- AFINN – Ord poängsatta från -5 till 5

library(lexicon)

Namn	Beskrivning
`dodds_sentiment`	Sentimentord insamlade via Mechanical Turk
`hash_emoticons`	Översättningar av grundläggande skiljetecken som smileys :)
`hash_sentiment_huliu`	Polaritetsforskning (+/-) från U of IL @CHI
`hash_sentiment_jockers`	Ett lexikon ärvt från `library(syuzhet)`
`hash_sentiment_nrc`	5 468 ord poängsatta via crowdsourcing mellan -1 & 1

Omöjligt! För få ord.

tänkande

Zipfs lag
Minsta-ansträngningens princip

Zipfs lag i praktiken

Rang	Stad	Befolkning 2010	Faktisk %	Zipfs förväntade %
1	New York	8 175 133	100%	...
2	LA	3 792 621	46%	50%
3	Chicago	2 695 598	33%	33%
4	Houston	2 100 263	26%	25%
5	Philadelphia	1 526 006	19%	20%

Minsta-ansträngningens princip

Om det finns flera sätt att nå samma mål väljer människor det minst krävande alternativet

lat katt

Härnäst...

Twitter-logotyp

fotboll

Nu kör vi en övning!

Sentimentanalys i R