TfIdf: Ще способи перетворювати текст

Аналіз тональності в Python

Violeta Misheva

Data Scientist

З чого складається TfIdf?

  • TF: частота терміна: Як часто слово з'являється в документі корпусу

  • Зворотна частота документа: Логарифмічне відношення між загальною кількістю документів і кількістю документів, що містять певне слово

    • Використовується, щоб зважувати рідкісні слова
Аналіз тональності в Python

Оцінка TfIdf для слова

  • Оцінка TfIdf: 
TfIdf = term frequency * inverse document frequency
  • BOW не враховує довжину документа, TfIdf — враховує.
  • TfIdf фіксує слова, поширені в межах документа, але не між документами.
Аналіз тональності в Python

Навіщо корисний TfIdf?

Настрої авіапасажирів у Twitter
  • Низькі оцінки TfIdf: United, Virgin America
  • Високі оцінки TfIdf: check-in process (якщо рідкісне серед документів)
Більше про TfIdf
  • Оскільки він штрафує часті слова, менше потреби явно обробляти стоп-слова.
  • Корисний у пошуку та отриманні інформації для ранжування релевантності результатів.
Аналіз тональності в Python

TfIdf у Python

# Import the TfidfVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
  • Аргументи TfidfVectorizer: max_features, ngram_range, stop_words, token_pattern, max_df, min_df
vect = TfidfVectorizer(max_features=100).fit(tweets.text)
X = vect.transform(tweets.text)
Аналіз тональності в Python

TfidfVectorizer

X
<14640x100 sparse matrix of type '<class 'numpy.float64'>'
    with 119182 stored elements in Compressed Sparse Row format>

X_df = pd.DataFrame(X_txt.toarray(), columns=vect.get_feature_names())
X_df.head()

перші 5 рядків даних, створених за допомогою TfIdf

Аналіз тональності в Python

Давайте потренуємось!

Аналіз тональності в Python

Preparing Video For Download...