Embeddings

Procesarea Limbajului Natural (NLP) în Python

Fouad Trad

Machine Learning Engineer

Limitele BoW și TF-IDF

Tratează cuvintele similare ca total necorelate
Nu surprinde semnificația textului

Imagine care arată cum BoW/TF-IDF transformă un set de texte într-un set de date structurat cu cuvinte unice ca trăsături.

Embeddings

Imagine care arată că embedding-ul transformă un cuvânt într-un vector.

Reprezintă un cuvânt printr-un vector care îi surprinde semnificația

Embeddings

Imagine cu vectorii de embedding pentru patru cuvinte: car, movie, film și king.

Reprezintă un cuvânt printr-un vector care îi surprinde semnificația
- Atribuie valori aleatorii fiecărui cuvânt

Embeddings

Imagine cu sarcina de completare a propozițiilor, unde scopul este completarea unei propoziții precum „I enjoyed watching the" cu cuvântul potrivit.

Reprezintă un cuvânt printr-un vector care îi surprinde semnificația
- Atribuie valori aleatorii fiecărui cuvânt
- Rafinează valorile prin predicția cuvintelor lipsă din propoziții

Embeddings

Imagine care arată că propoziția poate fi completată cu două cuvinte cu semnificație similară: movie și film.

Reprezintă un cuvânt printr-un vector care îi surprinde semnificația
- Atribuie valori aleatorii fiecărui cuvânt
- Rafinează valorile prin predicția cuvintelor lipsă din propoziții
- Cuvintele din contexte similare ajung cu reprezentări similare

Embeddings ca coordonate GPS pentru cuvinte

Imagine cu locații GPS pe o hartă.

Gensim

Oferă modele populare de embedding
- Word2Vec
- GloVe

word2vec-ruscorpora-300
word2vec-google-news-300
glove-wiki-gigaword-50
glove-wiki-gigaword-100
glove-wiki-gigaword-200
glove-wiki-gigaword-300
...

Logo Gensim.

Încărcarea unui model de embedding

import gensim.downloader as api

model = api.load('glove-wiki-gigaword-50')

print(type(model))

print(model['movie'])

<class 'gensim.models.keyedvectors.KeyedVectors'>

[ 0.30824   0.17223  -0.23339   0.023105  0.28522   0.23076  -0.41048
 -1.0035   -0.2072    1.4327   -0.80684   0.68954  -0.43648   1.1069
  1.6107   -0.31966   0.47744   0.79395  -0.84374   0.064509  0.90251
  0.78609   0.29699   0.76057   0.433    -1.5032   -1.6423    0.30256
  0.30771  -0.87057   2.4782   -0.025852  0.5013   -0.38593  -0.15633
  0.45522   0.04901  -0.42599  -0.86402  -1.3076   -0.29576   1.209
 -0.3127   -0.72462  -0.80801   0.082667  0.26738  -0.98177  -0.32147
  0.99823 ]

Calcularea similarității

similarity = model.similarity("film", "movie")

print(similarity)

0.9310100078582764

Găsirea cuvintelor cele mai similare

similar_to_movie = model.most_similar('movie', topn=3)

print(similar_to_movie)

[('movies', 0.9322481155395508), 
 ('film', 0.9310100078582764), 
 ('films', 0.8937394618988037)]

Vizualizarea embeddings-urilor

Analiza componentelor principale (PCA):
- Vectori de dimensiune mare → vectori 2D sau 3D

O hartă 3D aplatizată într-una 2D.

¹ Imagine generată de DALL-E

Vizualizarea embeddings-urilor cu PCA

from sklearn.decomposition import PCA


words = ["film", "movie", "dog", "cat", "car", "bus"]

word_vectors = [model[word] for word in words]


pca = PCA(n_components=2)

word_vectors_2d = pca.fit_transform(word_vectors)


plt.scatter(word_vectors_2d[:, 0], word_vectors_2d[:, 1])

for word, (x, y) in zip(words, word_vectors_2d):
    plt.annotate(word, (x, y))

plt.show()

Imagine care arată că cuvintele similare/înrudite sunt apropiate în spațiul de embedding.

Compararea embeddings-urilor

Imagine care arată că cuvintele similare în modelul Word2Vec sunt apropiate în spațiul de embedding, dar poziționate diferit față de modelul GloVe.

word2vec-google-news-300

Imagine care arată că cuvintele similare în modelul GloVe sunt apropiate în spațiul de embedding.

glove-wiki-gigaword-50

Să exersăm!

Procesarea Limbajului Natural (NLP) în Python