Liczenie słów

Analiza danych z mediów społecznościowych w Pythonie

Alex Hanna

Computational Social Scientist

Po co liczyć słowa?

Podstawowy krok w automatyzacji analizy tekstu
Pokazuje, ile razy dane słowo kluczowe pojawia się w dokumentach w porównaniu z innymi
W ćwiczeniach: #rstats vs #python

Liczenie za pomocą str.contains

str.contains
- metoda łańcuchowa Series w pandas
- Zwraca wartości logiczne (Series)
- case = False - wyszukiwanie bez uwzględnienia wielkości liter

Zbiór danych o firmach

import pandas as pd

tweets = pd.DataFrame(flatten_tweets(companies_json))

apple = tweets['text'].str.contains('apple', case = False)

print(np.sum(apple) / tweets.shape[0])

0.112

Liczenie w wielu polach tekstowych

apple = tweets['text'].str.contains('apple', 
                                     case = False) 
for column in ['extended_tweet-full_text',
    'retweeted_status-text',
    'retweeted_status-extended_tweet-full_text']:
    apple = apple | tweets[column].str.contains('apple', 
                                                 case = False)

print(np.sum(apple) / tweets.shape[0])

0.12866666666666668

Czas na ćwiczenia!

Analiza danych z mediów społecznościowych w Pythonie