Вектори слів і spaCy

Обробка природної мови (NLP) зі spaCy

Azadeh Mobasher

Principal Data Scientist

Візуалізація векторів слів

Вектори слів показують, як слова групуються

Приклад вектора слова

Principal Component Analysis відображає вектори слів у двовимірний простір

Візуалізація векторів слів

Імпортуйте потрібні бібліотеки та модель spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Добудьте вектори для заданого списку слів і об'єднайте їх вертикально.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Візуалізації векторів слів

Видобудьте дві головні компоненти за допомогою PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Візуалізуйте діаграму розсіювання трансформованих векторів.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Аналогії та векторні операції

Семантичний зв'язок між парою слів.
Word embeddings породжують аналогії, як-от рід і час:
- queen - woman + man = king

Аналогії та векторні операції

Подібні слова у словнику

spaCy знаходить семантично подібні терміни до заданого

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Давайте потренуємось!

Обробка природної мови (NLP) зі spaCy