Word vectors और spaCy

spaCy के साथ Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

Word vectors का विज़ुअलाइज़ेशन

Word vectors दिखाते हैं कि शब्द कैसे समूहबद्ध होते हैं

उदाहरण word vector

Principal Component Analysis word vectors को दो-आयामी स्पेस में प्रोजेक्ट करता है

word vectors का विज़ुअलाइज़ेशन

Word vectors का विज़ुअलाइज़ेशन

जरूरी लाइब्रेरी और spaCy मॉडल इम्पोर्ट करें.

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import numpy as np

nlp = spacy.load("en_core_web_md")

दिए गए शब्दों की सूची के लिए word vectors निकालें और उन्हें वर्टिकली स्टैक करें.

words = ["wonderful", "horrible", 
           "apple", "banana", "orange", "watermelon", 
           "dog", "cat"]
word_vectors = np.vstack([nlp.vocab.vectors[nlp.vocab.strings[w]] for w in words])

Word vectors विज़ुअलाइज़ेशंस

PCA से दो principal components निकालें.

pca = PCA(n_components=2)
word_vectors_transformed = pca.fit_transform(word_vectors)

ट्रांसफॉर्म्ड vectors का स्कैटर प्लॉट दिखाएँ.

plt.figure(figsize=(10, 8))
plt.scatter(word_vectors_transformed[:, 0], word_vectors_transformed[:, 1])

for word, coord in zip(words, word_vectors_transformed):
    x, y = coord
    plt.text(x, y, word, size=10)
plt.show()

Analogies और vector operations

शब्दों की जोड़ी के बीच सैमांटिक संबंध.
Word embeddings जेंडर और टेंस जैसी analogies बनाते हैं:
- queen - woman + man = king

Analogies और vector operations

Vocabulary में similar words

spaCy दिए गए शब्द के semantically similar terms ढूँढता है

import numpy as np
import spacy
nlp = spacy.load("en_core_web_md")

word = "covid"

most_similar_words = nlp.vocab.vectors.most_similar(
    np.asarray([nlp.vocab.vectors[nlp.vocab.strings[word]]]), n=5)

words = [nlp.vocab.strings[w] for w in most_similar_words[0][0]]
print(words)

>>> ['Covi', 'CoVid', 'Covici', 'COVID-19', 'corona']

अभ्यास करते हैं!

spaCy के साथ Natural Language Processing