Compter les mots

Analyser des données de réseaux sociaux en Python

Alex Hanna

Computational Social Scientist

Pourquoi compter les mots ?

Étape de base pour automatiser l'analyse de texte
Indique combien de fois un mot-clé pertinent est mentionné dans des documents par rapport à d'autres
Dans les exercices : #rstats vs #python

Compter avec str.contains

str.contains
- Méthode de chaîne pour les Series pandas
- Retourne une Series booléenne
- case = False : recherche insensible à la casse

Jeu de données des entreprises

import pandas as pd

tweets = pd.DataFrame(flatten_tweets(companies_json))

apple = tweets['text'].str.contains('apple', case = False)

print(np.sum(apple) / tweets.shape[0])

0.112

Compter dans plusieurs champs texte

apple = tweets['text'].str.contains('apple', 
                                     case = False) 
for column in ['extended_tweet-full_text',
    'retweeted_status-text',
    'retweeted_status-extended_tweet-full_text']:
    apple = apple | tweets[column].str.contains('apple', 
                                                 case = False)

print(np.sum(apple) / tweets.shape[0])

0.12866666666666668

Passons à la pratique !

Analyser des données de réseaux sociaux en Python