Vectori de cuvinte și spaCy

Procesarea limbajului natural cu spaCy

Azadeh Mobasher

Principal Data Scientist

Vizualizarea vectorilor de cuvinte

Vectorii de cuvinte arată cum sunt grupate cuvintele

Exemplu de vector de cuvânt

Analiza componentelor principale proiectează vectorii de cuvinte într-un spațiu bidimensional

Vizualizarea vectorilor de cuvinte

Importați bibliotecile necesare și un model spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Extrageți vectorii de cuvinte pentru o listă de cuvinte și stivuiți-i vertical.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Vizualizări ale vectorilor de cuvinte

Extrageți două componente principale folosind PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Vizualizați diagrama de dispersie a vectorilor transformați.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogii și operații cu vectori

O relație semantică între o pereche de cuvinte.
Embeddings-urile de cuvinte generează analogii precum genul și timpul verbal:
- queen - woman + man = king

Analogii și operații cu vectori

Cuvinte similare într-un vocabular

spaCy găsește termeni semantic similari cu un termen dat

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Să exersăm!

Procesarea limbajului natural cu spaCy