Kelime vektörleri ve spaCy

spaCy ile Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

Kelime vektörlerinin görselleştirilmesi

Kelime vektörleri, kelimelerin nasıl gruplan(dığını) anlamayı sağlar

Örnek kelime vektörü

Temel Bileşen Analizi (PCA), kelime vektörlerini iki boyuta yansıtır

Kelime vektörlerini görselleştirme

Kelime vektörlerinin görselleştirilmesi

Gerekli kütüphaneleri ve bir spaCy modelini içe aktarın.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

Verilen kelime listesi için vektörleri çıkarın ve dikey istifleyin.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Kelime vektörü görselleştirmeleri

PCA ile iki temel bileşen çıkarın.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

Dönüştürülmüş vektörlerin saçılım grafiğini görselleştirin.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analojiler ve vektör işlemleri

Bir kelime çifti arasındaki anlamsal ilişki.
Kelime gömme yöntemleri cinsiyet ve zaman gibi analojiler üretir:
- queen - woman + man = king

Analojiler ve vektör işlemleri

Bir sözlükte benzer kelimeler

spaCy verilen bir terime anlamsal olarak benzer terimler bulur

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

Hadi pratik yapalım!

spaCy ile Natural Language Processing