TfIdf: Mai multe moduri de a transforma textul

Analiza sentimentelor în Python

Violeta Misheva

Data Scientist

Care sunt componentele TfIdf?

  • TF: frecvența termenului: De câte ori apare un cuvânt într-un document din corpus

  • Frecvența inversă a documentului: Raportul logaritmic dintre numărul total de documente și numărul de documente care conțin un cuvânt specific

    • Folosită pentru a calcula ponderea cuvintelor rare
Analiza sentimentelor în Python

Scorul TfIdf al unui cuvânt

  • Scorul TfIdf: 
TfIdf = term frequency * inverse document frequency
  • BOW nu ține cont de lungimea documentului, TfIdf da.
  • TfIdf captează cuvintele frecvente într-un document, dar rare în corpus.
Analiza sentimentelor în Python

La ce este util TfIdf?

Sentimentul pasagerilor de avion (Twitter)
  • Scoruri TfIdf scăzute: United, Virgin America
  • Scoruri TfIdf ridicate: procesul de check-in (dacă este rar în corpus)
Mai mult despre TfIdf
  • Penalizând cuvintele frecvente, reduce nevoia de a gestiona explicit cuvintele de stop.
  • Util în interogări de căutare și regăsirea informațiilor pentru a clasifica relevanța rezultatelor.
Analiza sentimentelor în Python

TfIdf în Python

# Import the TfidfVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
  • Argumente ale TfidfVectorizer: max_features, ngram_range, stop_words, token_pattern, max_df, min_df
vect = TfidfVectorizer(max_features=100).fit(tweets.text)
X = vect.transform(tweets.text)
Analiza sentimentelor în Python

TfidfVectorizer

X
<14640x100 sparse matrix of type '<class 'numpy.float64'>'
    with 119182 stored elements in Compressed Sparse Row format>

X_df = pd.DataFrame(X_txt.toarray(), columns=vect.get_feature_names())
X_df.head()

Primele 5 rânduri ale datelor create cu TfIdf

Analiza sentimentelor în Python

Să exersăm!

Analiza sentimentelor în Python

Preparing Video For Download...