Подсчёт слов

Анализ данных социальных сетей на Python

Alex Hanna

Computational Social Scientist

Зачем считать слова?

Базовый шаг для автоматизации анализа текста
Показывает, как часто ключевое слово встречается в документах по сравнению с другими
В упражнениях: #rstats vs #python

Подсчёт с помощью str.contains

str.contains
- строковый метод Series в pandas
- Возвращает булеву Series
- case = False — поиск без учёта регистра

Набор данных о компаниях

import pandas as pd

tweets = pd.DataFrame(flatten_tweets(companies_json))

apple = tweets['text'].str.contains('apple', case = False)

print(np.sum(apple) / tweets.shape[0])

0.112

Подсчёт в нескольких текстовых полях

apple = tweets['text'].str.contains('apple', 
                                     case = False) 
for column in ['extended_tweet-full_text',
    'retweeted_status-text',
    'retweeted_status-extended_tweet-full_text']:
    apple = apple | tweets[column].str.contains('apple', 
                                                 case = False)

print(np.sum(apple) / tweets.shape[0])

0.12866666666666668

Давайте потренируемся!

Анализ данных социальных сетей на Python