TfIdf: другие способы преобразования текста

Анализ тональности текста на Python

Violeta Misheva

Data Scientist

Из чего состоит TfIdf?

  • TF: частота термина: как часто данное слово встречается в документе корпуса

  • Обратная частота документа: логарифм отношения общего числа документов к числу документов, содержащих конкретное слово

    • Используется для вычисления веса редко встречающихся слов
Анализ тональности текста на Python

Оценка TfIdf для слова

  • Оценка TfIdf: 
TfIdf = term frequency * inverse document frequency
  • BOW не учитывает длину документа, TfIdf — учитывает.
  • TfIdf эффективно выделяет слова, характерные для конкретного документа, но редкие в корпусе в целом.
Анализ тональности текста на Python

Чем полезен TfIdf?

Тональность твитов об авиакомпаниях
  • Низкие оценки TfIdf: United, Virgin America
  • Высокие оценки TfIdf: процесс регистрации (если встречается редко)
Подробнее о TfIdf
  • Поскольку TfIdf штрафует частые слова, необходимость явной обработки стоп-слов снижается.
  • Широко применяется в поисковых запросах и информационном поиске для ранжирования релевантности результатов.
Анализ тональности текста на Python

TfIdf в Python

# Import the TfidfVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
  • Аргументы TfidfVectorizer: max_features, ngram_range, stop_words, token_pattern, max_df, min_df
vect = TfidfVectorizer(max_features=100).fit(tweets.text)
X = vect.transform(tweets.text)
Анализ тональности текста на Python

TfidfVectorizer

X
<14640x100 sparse matrix of type '<class 'numpy.float64'>'
    with 119182 stored elements in Compressed Sparse Row format>

X_df = pd.DataFrame(X_txt.toarray(), columns=vect.get_feature_names())
X_df.head()

первые 5 строк данных, созданных с помощью TfIdf

Анализ тональности текста на Python

Давайте потренируемся!

Анализ тональности текста на Python

Preparing Video For Download...