Предсказываем тональность!

Анализ тональности текста на Python

Violeta Misheva

Data Scientist

Задачи классификации

  • Отзывы о товарах и фильмах: положительная или отрицательная тональность (бинарная классификация)
  • Твиты об авиакомпаниях: положительная, нейтральная и отрицательная (многоклассовая классификация)
Анализ тональности текста на Python

Линейная и логистическая регрессии

график, показывающий линейную регрессию (слева), подогнанную к нескольким значениям, и логистическую регрессию (справа), подогнанную к похожим значениям

Анализ тональности текста на Python

Логистическая функция

  • Линейная регрессия: числовой результат
  • Логистическая регрессия: вероятность:

$$ Probability(sentiment=positive|review) $$

график логистической (сигмоидной) функции, подогнанной к нескольким примерам

Анализ тональности текста на Python

Логистическая регрессия в Python

from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression().fit(X, y)
Анализ тональности текста на Python

Оценка качества модели

Точность: доля правильных предсказаний модели.

  • Чем выше точность и чем ближе она к 1, тем лучше
# Accuracy using score
score = log_reg.score(X, y)
print(score)

0.9009
Анализ тональности текста на Python

Использование accuracy_score

# Accuracy using accuracy_score
from sklearn.metrics import accuracy_score

y_predicted = log_reg.predict(X)
acurracy = accuracy_score(y, y_predicted)

0.9009
Анализ тональности текста на Python

Давайте потренируемся!

Анализ тональности текста на Python

Preparing Video For Download...