Rassembler le tout
Analyse de sentiment en Python
Violeta Misheva
Data Scientist
Le problème d'analyse de sentiment
L'analyse de sentiment : comprendre l'opinion d'un auteur sur un sujet
- Critiques de films
- Avis de produits Amazon
- Sentiment sur les compagnies aériennes sur Twitter
- Divers exemples littéraires chargés d'émotion
Exploration des avis
- Infos de base sur la taille des avis
- Nuages de mots
- Caractéristiques de longueur : nombre de mots, nombre de phrases
- Caractéristique détectant la langue d'un avis
Transformations numériques des colonnes porteuses de sentiment
- Sac de mots
- Vectorisation Tf‑Idf
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Syntaxe du vectoriseur
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Arguments des vectoriseurs
- Mots vides : mots fréquents peu informatifs
- Plage de n-grammes : utiliser des groupes de mots, pas seulement des mots uniques
- Contrôler la taille du vocabulaire : max_features, max_df, min_df
- Repérer un motif de jetons : retirer les chiffres ou certains caractères
Important, mais PAS des arguments des vectoriseurs
- Lemmatisations et racines
Modèle d'apprentissage supervisé
- Classifieur par régression logistique pour prédire le sentiment
- Évalué avec l'exactitude et la matrice de confusion
- Importance de la séparation entraînement/test
Passons à la pratique !
Analyse de sentiment en Python
