Reprezentacja Bag-of-Words

Przetwarzanie języka naturalnego (NLP) w Pythonie

Fouad Trad

Machine Learning Engineer

Podsumowanie przepływu pracy NLP

Pełny diagram przepływu pracy z informacją, że rozdziały 3 i 4 koncentrują się na bibliotekach transformers.

Bag-of-Words (BoW)

Podstawowa technika reprezentacji tekstu jako liczb
Tekst reprezentowany przez zliczanie wystąpień słów
Słowa trafiają do worka i są zliczane
Ignoruje gramatykę i kolejność słów

Ilustracja przedstawiająca słowa z tekstu wrzucane do worka, a następnie zliczanie wystąpień poszczególnych słów.

Przykład BoW

Ilustracja przedstawiająca dwa zdania: „I love NLP" i „I love machine learning."

Przykład BoW

Ilustracja przedstawiająca słownik wyznaczony na podstawie zdań: I, love, NLP, machine, learning.

Budowanie słownika wszystkich unikalnych słów

Przykład BoW

Ilustracja przedstawiająca wektory cech dla każdego zdania, wygenerowane przez zliczanie wystąpień słów zgodnie z wyznaczonym słownikiem.

Budowanie słownika wszystkich unikalnych słów
Zliczanie wystąpień każdego słowa ze słownika

BoW z kodem

reviews = ["I loved the movie. It was amazing!",
           "The movie was okay.",
           "I hated the movie. It was boring."]

def preprocess(text):

    text = text.lower()

    tokens = word_tokenize(text)

    tokens = [word for word in tokens if word not in string.punctuation]

    return " ".join(tokens)

cleaned_reviews = [preprocess(review) for review in reviews]

print(cleaned_reviews)

['i loved the movie it was amazing', 
 'the movie was okay', 
 'i hated the movie it was boring']

BoW z kodem

from sklearn.feature_extraction.text import CountVectorizer


vectorizer = CountVectorizer()

vectorizer.fit(cleaned_reviews)

print(vectorizer.get_feature_names_out())

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Wynik BoW

X = vectorizer.transform(cleaned_reviews)

# OR
X = vectorizer.fit_transform(cleaned_reviews)

print(X)

<Compressed Sparse Row sparse matrix of dtype 'int64'
    with 16 stored elements and shape (3, 9)>

Macierz rzadka: tabela wypełniona głównie zerami

Wynik BoW

print(X.toarray())

[[1 0 0 1 1 1 0 1 1]
 [0 0 0 0 0 1 1 1 1]
 [0 1 1 1 0 1 0 1 1]]

print(vectorizer.get_feature_names_out())

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Częstości słów

import numpy as np


word_counts = np.sum(X.toarray(), axis=0)

words = vectorizer.get_feature_names_out()

import matplotlib.pyplot as plt


plt.bar(words, word_counts)

plt.title("Word Frequencies in Movie Reviews")

plt.xlabel("Words")
plt.ylabel("Frequency")
plt.show()

Wykres słupkowy przedstawiający słowa i ich częstości; słowa funkcyjne mają najwyższe wartości.

Czas na ćwiczenia!

Przetwarzanie języka naturalnego (NLP) w Pythonie