Vektory slov a spaCy

Zpracování přirozeného jazyka s knihovnou spaCy

Azadeh Mobasher

Principal Data Scientist

Vizualizace vektorů slov

Vektory slov umožňují pochopit, jak jsou slova seskupena

Příklad vektoru slova

Analýza hlavních komponent (PCA) promítá vektory slov do dvourozměrného prostoru

Vizualizace vektorů slov

Importujte potřebné knihovny a model spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Extrahujte vektory slov pro daný seznam slov a vertikálně je skládejte.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Vizualizace vektorů slov

Extrahujte dvě hlavní komponenty pomocí PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Vizualizujte bodový graf transformovaných vektorů.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogie a vektorové operace

Sémantický vztah mezi dvojicí slov.
Slovní embeddingy generují analogie jako rod nebo čas:
- queen - woman + man = king

Analogie a vektorové operace

Podobná slova ve slovníku

spaCy nalezne sémanticky podobné výrazy k danému výrazu

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Pojďme si procvičit!

Zpracování přirozeného jazyka s knihovnou spaCy