Ordvektorer och spaCy

Naturlig språkbehandling med spaCy

Azadeh Mobasher

Principal Data Scientist

Visualisering av ordvektorer

Ordvektorer visar hur ord grupperas

Exempel på ordvektor

Principalkomponentanalys projicerar ordvektorer till ett tvådimensionellt rum

Visualisering av ordvektorer

Importera nödvändiga bibliotek och en spaCy-modell.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Extrahera ordvektorer för en given ordlista och stapla dem vertikalt.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Visualisering av ordvektorer

Extrahera två principalkomponenter med PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Visualisera ett spridningsdiagram av de transformerade vektorerna.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogier och vektoroperationer

Ett semantiskt samband mellan ett par ord.
Ordinbäddningar skapar analogier kring exempelvis kön och tempus:
- queen - woman + man = king

Analogier och vektoroperationer

Liknande ord i ett vokabulär

spaCy hittar semantiskt liknande termer för ett givet ord

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Nu kör vi en övning!

Naturlig språkbehandling med spaCy