Підрахунок слів

Аналіз даних із соцмереж у Python

Alex Hanna

Computational Social Scientist

Навіщо рахувати слова?

Базовий крок для автоматизації аналізу тексту
Дозволяє дізнатись, скільки разів ключове слово згадується в документах порівняно з іншими
У вправах: #rstats vs #python

Підрахунок з `str.contains`

str.contains
- Рядковий метод Series у pandas
- Повертає булеву Series
- case = False — пошук без урахування регістру

Набір даних про компанії

import pandas as pd

tweets = pd.DataFrame(flatten_tweets(companies_json))

apple = tweets['text'].str.contains('apple', case = False)

print(np.sum(apple) / tweets.shape[0])

0.112

Підрахунок у кількох полях тексту

apple = tweets['text'].str.contains('apple', 
                                     case = False) 
for column in ['extended_tweet-full_text',
    'retweeted_status-text',
    'retweeted_status-extended_tweet-full_text']:
    apple = apple | tweets[column].str.contains('apple', 
                                                 case = False)

print(np.sum(apple) / tweets.shape[0])

0.12866666666666668

Давайте потренуємось!

Аналіз даних із соцмереж у Python