Vetores de palavras e spaCy

Processamento de Linguagem Natural com spaCy

Azadeh Mobasher

Principal Data Scientist

Visualização de vetores de palavras

Vetores de palavras ajudam a entender como as palavras são agrupadas

Exemplo de vetor de palavras

Análise de Componentes Principais projeta vetores de palavras em um espaço bidimensional

Visualizando vetores de palavras

Visualização de vetores de palavras

Importe as bibliotecas necessárias e um modelo spaCy.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Extraia vetores de palavras para uma lista e empilhe verticalmente.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Visualizações de vetores de palavras

Extraia dois componentes principais usando PCA.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Visualize o gráfico de dispersão dos vetores transformados.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogias e operações com vetores

Uma relação semântica entre um par de palavras.
Word embeddings geram analogias como gênero e tempo verbal:
- queen - woman + man = king

Analogias e operações com vetores

Palavras semelhantes no vocabulário

spaCy encontra termos semanticamente semelhantes a um termo dado

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Vamos praticar!

Processamento de Linguagem Natural com spaCy