Sammanfattning
Sentimentanalys i Python
Violeta Misheva
Data Scientist
Sentimentanalysproblemet
Sentimentanalys som metod för att förstå en författares åsikt om ett ämne
- Filmrecensioner
- Amazon-produktrecensioner
- Twitter-sentimentdata om flygbolag
- Olika emotionellt laddade litterära exempel
Utforskning av recensionerna
- Grundläggande information om recensionernas storlek
- Ordmoln
- Särdrag för recensionslängd: antal ord, antal meningar
- Särdrag för att identifiera språket i en recension
Numeriska omvandlingar av sentimentbärande kolumner
- Bag-of-words
- TfIdf-vektorisering
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Vectorizer syntax
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Argument till vektoriserarna
- stoppord: icke-informativa, vanligt förekommande ord
- n-gramintervall: använd fraser, inte bara enskilda ord
- kontrollera vokabulärens storlek: max_features, max_df, min_df
- fånga tokenmönster: ta bort siffror eller vissa tecken
Viktigt men INTE argument till vektoriserarna
- lemman och stammar
Övervakad inlärningsmodell
- Logistisk regressionsklassificerare för att förutsäga sentiment
- Utvärderad med accuracy och konfusionsmatris
- Vikten av uppdelning i tränings- och testdata
Nu kör vi en övning!
Sentimentanalys i Python
