Представление «мешок слов»

Обработка естественного языка (NLP) на Python

Fouad Trad

Machine Learning Engineer

Обзор рабочего процесса NLP

Полная схема рабочего процесса с указанием того, что главы 3 и 4 посвящены библиотекам transformers.

Bag-of-Words (BoW)

Базовый метод представления текста в виде чисел
Текст представляется подсчётом частоты каждого слова
Слова «бросаются в мешок» и подсчитываются
Грамматика и порядок слов игнорируются

Изображение: слова текста помещаются в мешок, затем подсчитывается количество вхождений каждого слова.

Пример BoW

Изображение двух предложений: «I love NLP» и «I love machine learning.»

Пример BoW

Изображение словаря, составленного из предложений: I, love, NLP, machine и learning.

Составляется словарь всех уникальных слов

Пример BoW

Изображение векторов признаков для каждого предложения, сформированных подсчётом вхождений слов согласно заданному словарю.

Составляется словарь всех уникальных слов
Подсчитывается количество вхождений каждого слова из словаря

BoW в коде

reviews = ["I loved the movie. It was amazing!",
           "The movie was okay.",
           "I hated the movie. It was boring."]

def preprocess(text):

    text = text.lower()

    tokens = word_tokenize(text)

    tokens = [word for word in tokens if word not in string.punctuation]

    return " ".join(tokens)

cleaned_reviews = [preprocess(review) for review in reviews]

print(cleaned_reviews)

['i loved the movie it was amazing', 
 'the movie was okay', 
 'i hated the movie it was boring']

BoW в коде

from sklearn.feature_extraction.text import CountVectorizer


vectorizer = CountVectorizer()

vectorizer.fit(cleaned_reviews)

print(vectorizer.get_feature_names_out())

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Вывод BoW

X = vectorizer.transform(cleaned_reviews)

# OR
X = vectorizer.fit_transform(cleaned_reviews)

print(X)

<Compressed Sparse Row sparse matrix of dtype 'int64'
    with 16 stored elements and shape (3, 9)>

Разреженная матрица: таблица, заполненная преимущественно нулями

Вывод BoW

print(X.toarray())

[[1 0 0 1 1 1 0 1 1]
 [0 0 0 0 0 1 1 1 1]
 [0 1 1 1 0 1 0 1 1]]

print(vectorizer.get_feature_names_out())

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Частоты слов

import numpy as np


word_counts = np.sum(X.toarray(), axis=0)

words = vectorizer.get_feature_names_out()

import matplotlib.pyplot as plt


plt.bar(words, word_counts)

plt.title("Word Frequencies in Movie Reviews")

plt.xlabel("Words")
plt.ylabel("Frequency")
plt.show()

Столбчатая диаграмма с частотами слов; стоп-слова встречаются чаще всего.

Давайте потренируемся!

Обработка естественного языка (NLP) на Python