Векторизация TF-IDF

Обработка естественного языка (NLP) на Python

Fouad Trad

Machine Learning Engineer

От BoW к TF-IDF

BoW считает все слова одинаково важными
TF-IDF исправляет это, учитывая:
- как часто слово встречается в документе
- насколько оно значимо в рамках коллекции

Изображение BoW-представления двух предложений: «I love this NLP course» и «I enjoyed this project.»

TF-IDF

Изображение, показывающее, что TF-IDF — это произведение TF и IDF.

TF-IDF

Изображение, показывающее, что TF-IDF — это произведение TF и IDF.

TF: частота термина (Term Frequency)
- Сколько раз слово встречается в документе

TF-IDF

Изображение, показывающее, что TF-IDF — это произведение TF и IDF.

TF: частота термина (Term Frequency)
- Сколько раз слово встречается в документе
IDF: обратная частота документа (Inverse Document Frequency)
- Насколько редко слово встречается во всех документах

Слово есть в одном документе, но не в других → высокий балл
Слово есть в каждом документе → низкий балл

TF-IDF на примере кода

reviews = [
    "I loved the movie. It was amazing!",
    "The movie was okay.",
    "I hated the movie. It was boring."
]

cleaned_reviews = [preprocess(review) for review in reviews]
print(cleaned_reviews)

['i loved the movie it was amazing', 
 'the movie was okay', 
 'i hated the movie it was boring']

TF-IDF на примере кода

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer()

tfidf_matrix = vectorizer.fit_transform(cleaned_reviews)

print(tfidf_matrix)

<Compressed Sparse Row sparse matrix of dtype 'float64'
    with 16 stored elements and shape (3, 9)>

Результат TF-IDF

print(tfidf_matrix.toarray())

[[0.52523431 0.         0.         0.39945423 0.52523431 0.31021184   0.         0.31021184 0.31021184]
 [0.         0.         0.         0.         0.         0.41285857   0.69903033 0.41285857 0.41285857]
 [0.         0.52523431 0.52523431 0.39945423 0.         0.31021184   0.         0.31021184 0.31021184]]

vectorizer.get_feature_names_out()

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Визуализация оценок в виде тепловой карты

import pandas as pd

df_tfidf = pd.DataFrame(

    tfidf_matrix.toarray(),

    columns=vectorizer.get_feature_names_out()
)

import seaborn as sns
import matplotlib.pyplot as plt

sns.heatmap(df_tfidf, annot=True)

plt.title("TF-IDF Scores Across Reviews")
plt.xlabel("Terms")
plt.ylabel("Documents")
plt.show()

Тепловая карта TF-IDF-представления набора данных.

Сравнение с BoW

Тепловая карта BoW-представления набора данных.

Тепловая карта TF-IDF-представления набора данных.

Давайте потренируемся!

Обработка естественного языка (NLP) на Python