Vše dohromady
Sentiment Analysis v Pythonu
Violeta Misheva
Data Scientist
Problém analýzy sentimentu
Analýza sentimentu jako proces porozumění názoru autora na dané téma
- Recenze filmů
- Recenze produktů na Amazonu
- Sentiment k aerolinkám na Twitteru
- Různé emocionálně zabarvené literární příklady
Průzkum recenzí
- Základní informace o velikosti recenzí
- Oblaka slov
- Příznaky délky recenzí: počet slov, počet vět
- Příznak pro detekci jazyka recenze
Numerické transformace sloupců nesoucích sentiment
- Bag-of-words
- TfIdf vektorizace
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Vectorizer syntax
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Argumenty vektorizátorů
- stop slova: neinformativní, často se vyskytující slova
- rozsah n-gramů: použití frází, nejen jednotlivých slov
- kontrola velikosti slovníku: max_features, max_df, min_df
- zachycení vzoru tokenů: odstranění číslic nebo určitých znaků
Důležité, ale NEJSOU argumenty vektorizátorů
- lemmata a kmeny
Model řízeného učení
- Klasifikátor logistické regrese pro predikci sentimentu
- Vyhodnocení pomocí přesnosti a matice záměn
- Důležitost rozdělení na trénovací a testovací sadu
Pojďme si procvičit!
Sentiment Analysis v Pythonu
