Créer de nouvelles caractéristiques à partir du texte

Analyse de sentiment en Python

Violeta Misheva

Data Scientist

Objectif de la vidéo

 

Objectif : enrichir l'ensemble de données avec des caractéristiques liées à la colonne texte (capturer le sentiment)

Analyse de sentiment en Python

Données d'évaluations de produits

reviews.head()

5 premières lignes des évaluations de produits Amazon

Analyse de sentiment en Python

Caractéristiques depuis la colonne des évaluations

 

  • Quelle est la longueur de chaque évaluation ?
  • Combien de phrases contient-elle ?
  • Quelles catégories grammaticales y figurent ?
  • Combien de signes de ponctuation ?
Analyse de sentiment en Python

Tokeniser une chaîne

from nltk import word_tokenize

anna_k = 'Happy families are all alike, every unhappy family is unhappy in its own way.'

word_tokenize(anna_k)

['Happy','families','are', 'all','alike',',',
 'every','unhappy', 'family', 'is','unhappy','in',
 'its','own','way','.']
Analyse de sentiment en Python

Jetons depuis une colonne

# Forme générale d'une compréhension de liste
[expression for item in iterable]

word_tokens = [word_tokenize(review) for review in reviews.review]
type(word_tokens)

list

type(word_tokens[0])

list
Analyse de sentiment en Python

Jetons depuis une colonne

len_tokens = []

# Parcourir la liste word_tokens
for i in range(len(word_tokens)):
     len_tokens.append(len(word_tokens[i]))


# Créer une nouvelle caractéristique : la longueur de chaque évaluation
reviews['n_tokens'] = len_tokens
Analyse de sentiment en Python

Gérer la ponctuation

  • Nous ne l'avons pas traité, mais vous pouvez l'exclure
  • Une caractéristique qui mesure le nombre de signes de ponctuation
    • Une évaluation avec beaucoup de signes peut indiquer une opinion très chargée émotivement
Analyse de sentiment en Python

Évaluations avec une caractéristique de longueur

reviews.head()

5 premières lignes des évaluations Amazon, incluant la colonne ajoutée pour la longueur

Analyse de sentiment en Python

Passons à la pratique !

Analyse de sentiment en Python

Preparing Video For Download...