Підсумуємо все разом
Аналіз тональності в Python
Violeta Misheva
Data Scientist
Завдання аналізу тональності
Аналіз тональності — це розуміння ставлення автора до теми
- Огляди фільмів
- Відгуки про товари на Amazon
- Тональність авіаліній у Twitter
- Різні емоційно насичені літературні приклади
Дослідження відгуків
- Базова інформація про довжину відгуків
- Хмари слів
- Ознаки довжини: кількість слів, кількість речень
- Ознака визначення мови відгуку
Числові перетворення колонок із тональністю
- Мішок слів
- Векторизація TfIdf
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Синтаксис векторизатора
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Аргументи векторизаторів
- стоп-слова: неінформативні, частотні слова
- діапазон n-грам: використовуйте фрази, а не лише окремі слова
- керування розміром словника: max_features, max_df, min_df
- виявлення шаблонів токенів: прибрати цифри або певні символи
Важливо, але НЕ аргументи векторизаторів
- леми та основи слів
Модель з учителем
- Класифікатор логістичної регресії для передбачення тональності
- Оцінювання за accuracy та матрицею неточностей
- Важливість поділу на train/test
Давайте потренуємось!
Аналіз тональності в Python
