Reprezentace Bag-of-Words

Zpracování přirozeného jazyka (NLP) v Pythonu

Fouad Trad

Machine Learning Engineer

Rekapitulace pracovního postupu NLP

Diagram celého pracovního postupu s poznámkou, že kapitoly 3 a 4 se zaměřují na knihovny transformers.

Bag-of-Words (BoW)

Základní technika pro reprezentaci textu jako čísel
Text je reprezentován četností výskytu každého slova
Slova jsou vložena do „pytle" a spočítána
Ignoruje gramatiku a pořadí slov

Obrázek znázorňující vkládání slov z textu do pytle a počítání výskytů jednotlivých slov.

Příklad BoW

Obrázek zobrazující dvě věty: „I love NLP" a „I love machine learning."

Příklad BoW

Obrázek zobrazující slovník odvozený z vět: I, love, NLP, machine a learning.

Vytvoření slovníku všech jedinečných slov

Příklad BoW

Obrázek zobrazující příznakové vektory pro každou větu, vytvořené počítáním výskytů slov podle definovaného slovníku.

Vytvoření slovníku všech jedinečných slov
Počítání výskytů každého slova ze slovníku

BoW s kódem

reviews = ["I loved the movie. It was amazing!",
           "The movie was okay.",
           "I hated the movie. It was boring."]

def preprocess(text):

    text = text.lower()

    tokens = word_tokenize(text)

    tokens = [word for word in tokens if word not in string.punctuation]

    return " ".join(tokens)

cleaned_reviews = [preprocess(review) for review in reviews]

print(cleaned_reviews)

['i loved the movie it was amazing', 
 'the movie was okay', 
 'i hated the movie it was boring']

BoW s kódem

from sklearn.feature_extraction.text import CountVectorizer


vectorizer = CountVectorizer()

vectorizer.fit(cleaned_reviews)

print(vectorizer.get_feature_names_out())

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Výstup BoW

X = vectorizer.transform(cleaned_reviews)

# OR
X = vectorizer.fit_transform(cleaned_reviews)

print(X)

<Compressed Sparse Row sparse matrix of dtype 'int64'
    with 16 stored elements and shape (3, 9)>

Řídká matice: tabulka převážně vyplněná nulami

Výstup BoW

print(X.toarray())

[[1 0 0 1 1 1 0 1 1]
 [0 0 0 0 0 1 1 1 1]
 [0 1 1 1 0 1 0 1 1]]

print(vectorizer.get_feature_names_out())

['amazing' 'boring' 'hated' 'it' 'loved' 'movie' 'okay' 'the' 'was']

Frekvence slov

import numpy as np


word_counts = np.sum(X.toarray(), axis=0)

words = vectorizer.get_feature_names_out()

import matplotlib.pyplot as plt


plt.bar(words, word_counts)

plt.title("Word Frequencies in Movie Reviews")

plt.xlabel("Words")
plt.ylabel("Frequency")
plt.show()

Sloupcový graf zobrazující slova a jejich frekvence; nejčastější jsou stop slova.

Let's practice!

Zpracování přirozeného jazyka (NLP) v Pythonu