Embeddingi

Przetwarzanie języka naturalnego (NLP) w Pythonie

Fouad Trad

Machine Learning Engineer

Ograniczenia BoW i TF-IDF

Traktowanie podobnych słów jako całkowicie niepowiązanych
Brak uchwycenia znaczenia tekstu

Obraz pokazujący, jak BoW/TF-IDF przekształca zbiór tekstów w ustrukturyzowany zbiór danych, gdzie unikalne słowa są cechami.

Embeddingi

Obraz pokazujący, że embedding przekształca słowo w wektor.

Reprezentuje słowo jako wektor oddający jego znaczenie

Embeddingi

Obraz przedstawiający wektory embeddingów czterech różnych słów: car, movie, film i king.

Reprezentuje słowo jako wektor oddający jego znaczenie
- Przypisuje losowe wartości do każdego słowa

Embeddingi

Obraz przedstawiający zadanie uzupełniania zdania, w którym celem jest uzupełnienie podanego zdania, np. "I enjoyed watching the", odpowiednim słowem.

Reprezentuje słowo jako wektor oddający jego znaczenie
- Przypisuje losowe wartości do każdego słowa
- Udoskonala wartości, przewidując brakujące słowa w zdaniach

Embeddingi

Obraz pokazujący, że zdanie można uzupełnić dwoma słowami o podobnym znaczeniu: movie i film.

Reprezentuje słowo jako wektor oddający jego znaczenie
- Przypisuje losowe wartości do każdego słowa
- Udoskonala wartości, przewidując brakujące słowa w zdaniach
- Słowa występujące w podobnych kontekstach uzyskują podobne reprezentacje

Embeddingi jako współrzędne GPS dla słów

Obraz przedstawiający lokalizacje GPS na mapie.

Gensim

Udostępnia popularne modele embeddingów
- Word2Vec
- GloVe

word2vec-ruscorpora-300
word2vec-google-news-300
glove-wiki-gigaword-50
glove-wiki-gigaword-100
glove-wiki-gigaword-200
glove-wiki-gigaword-300
...

Logo Gensim.

Wczytywanie modelu embeddingów

import gensim.downloader as api

model = api.load('glove-wiki-gigaword-50')

print(type(model))

print(model['movie'])

<class 'gensim.models.keyedvectors.KeyedVectors'>

[ 0.30824   0.17223  -0.23339   0.023105  0.28522   0.23076  -0.41048
 -1.0035   -0.2072    1.4327   -0.80684   0.68954  -0.43648   1.1069
  1.6107   -0.31966   0.47744   0.79395  -0.84374   0.064509  0.90251
  0.78609   0.29699   0.76057   0.433    -1.5032   -1.6423    0.30256
  0.30771  -0.87057   2.4782   -0.025852  0.5013   -0.38593  -0.15633
  0.45522   0.04901  -0.42599  -0.86402  -1.3076   -0.29576   1.209
 -0.3127   -0.72462  -0.80801   0.082667  0.26738  -0.98177  -0.32147
  0.99823 ]

Obliczanie podobieństwa

similarity = model.similarity("film", "movie")

print(similarity)

0.9310100078582764

Wyszukiwanie najbardziej podobnych słów

similar_to_movie = model.most_similar('movie', topn=3)

print(similar_to_movie)

[('movies', 0.9322481155395508), 
 ('film', 0.9310100078582764), 
 ('films', 0.8937394618988037)]

Wizualizacja embeddingów

Analiza głównych składowych (PCA):
- Wektory wysokowymiarowe → wektory 2D lub 3D

Mapa 3D spłaszczana do postaci 2D.

¹ Obraz wygenerowany przez DALL-E

Wizualizacja embeddingów za pomocą PCA

from sklearn.decomposition import PCA


words = ["film", "movie", "dog", "cat", "car", "bus"]

word_vectors = [model[word] for word in words]


pca = PCA(n_components=2)

word_vectors_2d = pca.fit_transform(word_vectors)


plt.scatter(word_vectors_2d[:, 0], word_vectors_2d[:, 1])

for word, (x, y) in zip(words, word_vectors_2d):
    plt.annotate(word, (x, y))

plt.show()

Obraz pokazujący, że podobne/powiązane słowa są blisko siebie w przestrzeni embeddingów.

Porównanie embeddingów

Obraz pokazujący, że podobne/powiązane słowa w modelu Word2Vec są blisko siebie w przestrzeni embeddingów, ale rozmieszczone inaczej niż w modelu GloVe.

word2vec-google-news-300

Obraz pokazujący, że podobne/powiązane słowa w modelu GloVe są blisko siebie w przestrzeni embeddingów.

glove-wiki-gigaword-50

Czas na ćwiczenia!

Przetwarzanie języka naturalnego (NLP) w Pythonie