Recapitulare generală
Analiza sentimentelor în Python
Violeta Misheva
Data Scientist
Problema analizei sentimentelor
Analiza sentimentelor ca proces de înțelegere a opiniei unui autor despre un subiect
- Recenzii de filme
- Recenzii de produse Amazon
- Sentimentul pasagerilor aerieni pe Twitter
- Diverse exemple literare cu încărcătură emoțională
Explorarea recenziilor
- Informații de bază despre dimensiunea recenziilor
- Nori de cuvinte
- Caracteristici pentru lungimea recenziilor: număr de cuvinte, număr de propoziții
- Caracteristică pentru detectarea limbii unei recenzii
Transformări numerice ale coloanelor cu conținut sentimental
- Bag-of-words
- Vectorizare TfIdf
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Vectorizer syntax
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Argumentele vectorizoarelor
- stop words: cuvinte frecvente, fără valoare informativă
- n-gram range: utilizarea frazelor, nu doar a cuvintelor individuale
- controlul dimensiunii vocabularului: max_features, max_df, min_df
- captarea unui șablon de tokeni: eliminarea cifrelor sau a anumitor caractere
Important, dar NU argumente ale vectorizoarelor
- leme și rădăcini
Model de învățare supervizată
- Clasificator de regresie logistică pentru predicția sentimentului
- Evaluat cu acuratețe și matrice de confuzie
- Importanța divizării în date de antrenare/testare
Să exersăm!
Analiza sentimentelor în Python
