Vettori di parole e spaCy

Natural Language Processing con spaCy

Azadeh Mobasher

Principal Data Scientist

Visualizzazione dei vettori di parole

I vettori di parole aiutano a capire come le parole sono raggruppate

Esempio di word vector

La Principal Component Analysis proietta i vettori in uno spazio bidimensionale

Visualizzare i vettori di parole

Visualizzazione dei vettori di parole

Importa le librerie necessarie e un modello spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Estrai i vettori per una lista di parole e impilali verticalmente.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Visualizzazioni dei vettori di parole

Estrai due componenti principali con PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Visualizza lo scatter plot dei vettori trasformati.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogie e operazioni sui vettori

Una relazione semantica tra una coppia di parole.
I word embeddings generano analogie come genere e tempo:
- queen - woman + man = king

Analogie e operazioni sui vettori

Parole simili in un vocabolario

spaCy trova termini semanticamente simili a un termine dato

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Esercitiamoci!

Natural Language Processing con spaCy