Combien de mots CONNAISSEZ-VOUS ? Loi de Zipf et lexique de subjectivité

Analyse de sentiment en R

Ted Kwartler

Data Dude

Lexique de subjectivité

library(qdap)
library(magrittr)

text_df %$% polarity(text)

Retourne un objet « polarity » avec des scores positifs et négatifs.

Un lexique de subjectivité est une liste prédéfinie de mots associés à un contexte émotif, comme positif/négatif, ou à des émotions précises comme « frustration » ou « joie ».

Analyse de sentiment en R

Où trouver des lexiques de subjectivité ?

  • La fonction polarity() de qdap utilise un lexique de hash_sentiment_huliu

  • tidytext contient une table sentiments avec

    • NRC – Mots selon 8 émotions comme « colère » ou « joie » et Pos/Neg
    • Bing – Mots étiquetés positifs ou négatifs
    • AFINN – Mots cotés de -5 à 5
Analyse de sentiment en R

library(lexicon)

Nom Description
dodds_sentiment Mots d'opinion de Mechanical Turk
hash_emoticons Traductions des émoticônes de ponctuation de base :)
hash_sentiment_huliu Recherche sur la polarité (+/−) de l'U. de l'Illinois @ Chicago
hash_sentiment_jockers Lexique hérité de library(syuzhet)
hash_sentiment_nrc 5 468 mots, cote participative entre -1 et 1
Analyse de sentiment en R

Impossible ! Trop peu de mots.

en réflexion

  • Loi de Zipf
  • Principe du moindre effort
Analyse de sentiment en R

Loi de Zipf à l'œuvre

Rang Ville Population du recensement 2010 % réel % attendu selon Zipf
1 New York 8,175,133 100 % ...
2 LA 3,792,621 46 % 50 %
3 Chicago 2,695,598 33 % 33 %
4 Houston 2,100,263 26 % 25 %
5 Philadelphia 1,526,006 19 % 20 %
Analyse de sentiment en R

Principe du moindre effort

S'il existe plusieurs façons d'atteindre le même but, on choisira la voie la moins exigeante

chat paresseux

Analyse de sentiment en R

À suivre…

logo de Twitter

football

Analyse de sentiment en R

Passons à la pratique !

Analyse de sentiment en R

Preparing Video For Download...