Анализ тональности

Анализ данных социальных сетей на Python

Alex Hanna

Computational Social Scientist

Что такое анализ тональности

Метод
- Подсчёт положительных/отрицательных слов в документе
- Оценка общей тональности документа
Применение
- Анализ реакции на компанию, продукт, политика или политику

Инструменты анализа тональности

VADER SentimentIntensityAnalyzer()
- Входит в состав Natural Language Toolkit (nltk)
- Хорошо подходит для коротких текстов, например твитов
- Оценивает тональность отдельных слов (например, angry, happy)
- Учитывает тональность эмодзи (😀) и регистр (Nice vs NICE)

Реализация анализа тональности

from nltk.sentiment.vader import SentimentIntensityAnalyzer

sid = SentimentIntensityAnalyzer()

sentiment_scores = tweets['text'].apply(sid.polarity_scores)

Интерпретация оценок тональности

Ручная проверка твитов в процессе анализа
- Оцените внешнюю валидность: соответствуют ли результаты вашему представлению о позитивном и негативном?

Интерпретация оценок тональности

tweet1 = 'RT @jeffrey_heer: Thanks for inviting me, and thanks 
for the lovely visualization of the talk! ...'
print(sid.polarity_scores(tweet1))

{'neg': 0.0, 'neu': 0.496, 'pos': 0.504, 'compound': 0.9041}

tweet2 = 'i am having problems with google play music'
print(sid.polarity_scores(tweet2)

{'neg': 0.267, 'neu': 0.495, 'pos': 0.238, 'compound': -0.0772}

Вычисление средней тональности

sentiment = sentiment_scores.apply(lambda x: x['compound'])

sentiment_fb = sentiment[check_word_in_tweet('facebook', tweets)]
                    .resample('1 min').mean()
sentiment_gg = sentiment[check_word_in_tweet('google', tweets)]
                    .resample('1 min').mean()

Визуализация оценок тональности

plt.plot(
    sentiment_fb.index.minute, 
    sentiment_fb, color = 'blue'
    )
plt.plot(
    sentiment_g.index.minute, 
    sentiment_gg, color = 'green'
    )   
plt.xlabel('Minute')
plt.ylabel('Sentiment')
plt.title('Sentiment of companies')
plt.legend(('Facebook', 'Google'))
plt.show()

Тональность Facebook vs. Google

Давайте потренируемся!

Анализ данных социальных сетей на Python