Podsumowanie
Analiza sentymentu w Pythonie
Violeta Misheva
Data Scientist
Problem analizy sentymentu
Analiza sentymentu jako proces rozumienia opinii autora na dany temat
- Recenzje filmów
- Recenzje produktów Amazon
- Sentyment tweetów o liniach lotniczych
- Różne przykłady literackie o zabarwieniu emocjonalnym
Eksploracja recenzji
- Podstawowe informacje o rozmiarze recenzji
- Chmury słów
- Cechy dotyczące długości recenzji: liczba słów, liczba zdań
- Cecha wykrywająca język recenzji
Numeryczne przekształcenia kolumn z sentymentem
- Bag-of-words
- Wektoryzacja TfIdf
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Vectorizer syntax
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Argumenty wektoryzatorów
- stop words: nieinformatywne, często występujące słowa
- n-gram range: użycie fraz, nie tylko pojedynczych słów
- kontrola rozmiaru słownika: max_features, max_df, min_df
- wychwytywanie wzorców tokenów: usuwanie cyfr lub określonych znaków
Ważne, ale NIE są argumentami wektoryzatorów
- lematy i rdzenie
Model uczenia nadzorowanego
- Klasyfikator regresji logistycznej do przewidywania sentymentu
- Ocena za pomocą dokładności i macierzy pomyłek
- Znaczenie podziału na zbiór treningowy i testowy
Czas na ćwiczenia!
Analiza sentymentu w Pythonie
