Подводим итоги
Анализ тональности текста на Python
Violeta Misheva
Data Scientist
Задача анализа тональности
Анализ тональности — процесс определения мнения автора о предмете
- Отзывы на фильмы
- Отзывы о товарах на Amazon
- Тональность твитов об авиакомпаниях
- Различные эмоционально окрашенные литературные примеры
Исследование отзывов
- Общая информация об объёме отзывов
- Облака слов
- Признаки длины отзывов: количество слов, количество предложений
- Признак для определения языка отзыва
Числовые преобразования столбцов с тональностью
- Мешок слов
- TfIdf-векторизация
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# Vectorizer syntax
vect = CountVectorizer().fit(data.text_column)
X = vect.transform(data.text_column)
Аргументы векторизаторов
- стоп-слова: часто встречающиеся неинформативные слова
- диапазон n-грамм: использование фраз, а не только отдельных слов
- управление размером словаря: max_features, max_df, min_df
- захват паттерна токенов: удаление цифр или определённых символов
Важно, но НЕ аргументы векторизаторов
- леммы и стемы
Модель обучения с учителем
- Классификатор логистической регрессии для предсказания тональности
- Оценка с помощью точности и матрицы ошибок
- Важность разбивки на обучающую и тестовую выборки
Давайте потренируемся!
Анализ тональности текста на Python
