Wektory słów i spaCy

Przetwarzanie języka naturalnego z użyciem spaCy

Azadeh Mobasher

Principal Data Scientist

Wizualizacja wektorów słów

Wektory słów pozwalają zrozumieć, jak słowa są grupowane

Przykładowy wektor słowa

Analiza głównych składowych (PCA) rzutuje wektory słów na przestrzeń dwuwymiarową

Wizualizacja wektorów słów

Importowanie wymaganych bibliotek i modelu spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Wyodrębnienie wektorów słów dla listy słów i ich pionowe łączenie.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Wizualizacje wektorów słów

Wyodrębnienie dwóch głównych składowych za pomocą PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Wizualizacja wykresu punktowego przekształconych wektorów.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogie i operacje na wektorach

Relacja semantyczna między parą słów.
Osadzenia słów generują analogie, np. płci i czasu:
- queen - woman + man = king

Analogie i operacje na wektorach

Podobne słowa w słowniku

spaCy znajduje semantycznie podobne terminy do danego terminu

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Czas na ćwiczenia!

Przetwarzanie języka naturalnego z użyciem spaCy