Embeddings

Natural Language Processing (NLP) i Python

Fouad Trad

Machine Learning Engineer

Begränsningar hos BoW och TF-IDF

Behandlar liknande ord som helt orelaterade
Fångar inte textens betydelse

Bild som visar hur BoW/TF-IDF omvandlar en datamängd med flera texter till ett strukturerat dataset där unika ord är särdrag.

Embeddings

Bild som visar att en embedding omvandlar ett ord till en vektor.

Representerar ett ord med en vektor som fångar dess betydelse

Embeddings

Bild som visar embeddingvektorer för fyra olika ord: car, movie, film och king.

Representerar ett ord med en vektor som fångar dess betydelse
- Tilldelar slumpmässiga värden till varje ord

Embeddings

Bild som visar uppgiften att komplettera en mening, där målet är att fylla i rätt ord i en mening som "I enjoyed watching the".

Representerar ett ord med en vektor som fångar dess betydelse
- Tilldelar slumpmässiga värden till varje ord
- Förfinar värdena genom att förutsäga saknade ord i meningar

Embeddings

Bild som visar att meningen kan kompletteras med två ord av liknande betydelse: movie och film.

Representerar ett ord med en vektor som fångar dess betydelse
- Tilldelar slumpmässiga värden till varje ord
- Förfinar värdena genom att förutsäga saknade ord i meningar
- Ord som förekommer i liknande sammanhang får liknande representationer

Embeddings som GPS-koordinater för ord

Bild som visar GPS-positioner på en karta.

Gensim

Tillhandahåller populära embeddingmodeller
- Word2Vec
- GloVe

word2vec-ruscorpora-300
word2vec-google-news-300
glove-wiki-gigaword-50
glove-wiki-gigaword-100
glove-wiki-gigaword-200
glove-wiki-gigaword-300
...

Gensim logo.

Ladda en embeddingmodell

import gensim.downloader as api

model = api.load('glove-wiki-gigaword-50')

print(type(model))

print(model['movie'])

<class 'gensim.models.keyedvectors.KeyedVectors'>

[ 0.30824   0.17223  -0.23339   0.023105  0.28522   0.23076  -0.41048
 -1.0035   -0.2072    1.4327   -0.80684   0.68954  -0.43648   1.1069
  1.6107   -0.31966   0.47744   0.79395  -0.84374   0.064509  0.90251
  0.78609   0.29699   0.76057   0.433    -1.5032   -1.6423    0.30256
  0.30771  -0.87057   2.4782   -0.025852  0.5013   -0.38593  -0.15633
  0.45522   0.04901  -0.42599  -0.86402  -1.3076   -0.29576   1.209
 -0.3127   -0.72462  -0.80801   0.082667  0.26738  -0.98177  -0.32147
  0.99823 ]

Beräkna likhet

similarity = model.similarity("film", "movie")

print(similarity)

0.9310100078582764

Hitta mest liknande ord

similar_to_movie = model.most_similar('movie', topn=3)

print(similar_to_movie)

[('movies', 0.9322481155395508), 
 ('film', 0.9310100078582764), 
 ('films', 0.8937394618988037)]

Visualisera embeddings

Principal Component Analysis (PCA):
- Högdimensionella vektorer → 2D- eller 3D-vektorer

En 3D-karta som plattas ut till en 2D-karta.

¹ Bild genererad av DALL-E

Visualisera embeddings med PCA

from sklearn.decomposition import PCA


words = ["film", "movie", "dog", "cat", "car", "bus"]

word_vectors = [model[word] for word in words]


pca = PCA(n_components=2)

word_vectors_2d = pca.fit_transform(word_vectors)


plt.scatter(word_vectors_2d[:, 0], word_vectors_2d[:, 1])

for word, (x, y) in zip(words, word_vectors_2d):
    plt.annotate(word, (x, y))

plt.show()

Bild som visar att liknande och relaterade ord ligger nära varandra i embeddingutrymmet.

Jämförelse av embeddings

Bild som visar att liknande och relaterade ord i Word2Vec-modellen ligger nära varandra i embeddingutrymmet, men placeras annorlunda än i GloVe-modellen.

word2vec-google-news-300

Bild som visar att liknande och relaterade ord i GloVe-modellen ligger nära varandra i embeddingutrymmet.

glove-wiki-gigaword-50

Nu kör vi en övning!

Natural Language Processing (NLP) i Python