Векторы слов и spaCy

Обработка естественного языка с помощью spaCy

Azadeh Mobasher

Principal Data Scientist

Визуализация векторов слов

Векторы слов позволяют понять, как слова группируются

Пример вектора слова

Метод главных компонент (PCA) проецирует векторы слов в двумерное пространство

Визуализация векторов слов

Визуализация векторов слов

Импортируйте необходимые библиотеки и модель spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Извлеките векторы слов для заданного списка и сложите их вертикально.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Визуализация векторов слов

Извлеките две главные компоненты с помощью PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Постройте диаграмму рассеяния преобразованных векторов.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Аналогии и векторные операции

Семантическая связь между парой слов.
Векторные представления слов строят аналогии, например по роду и времени:
- queen - woman + man = king

Аналогии и векторные операции

Похожие слова в словаре

spaCy находит семантически близкие слова для заданного термина

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Давайте потренируемся!

Обработка естественного языка с помощью spaCy

Preparing Video For Download...