Word vectors का परिचय

spaCy के साथ Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

Word vectors (embeddings)

Sentences	I	got	covid	coronavirus
I got covid	1	2	3
I got coronavirus	1	2		4

निश्चित संख्या के dimensions
शब्द आवृत्तियों और समान संदर्भों में अन्य शब्दों की उपस्थिति को ध्यान में रखता है

Word vectors के उदाहरण

Word vectors बनाने के कई तरीके:
- word2vec, Glove, fastText और transformer-based architectures
एक word vector का उदाहरण:

उदाहरण word vector

import spacy
nlp = spacy.load("en_core_web_md")
print(nlp.meta["vectors"])

>>> {'width': 300, 'vectors': 20000, 'keys': 514157, 
'name': 'en_vectors', 'mode': 'default'}

import  spacy
nlp = spacy.load("en_core_web_md")
like_id = nlp.vocab.strings["like"]
print(like_id)

>>> 18194338103975822726

print(nlp.vocab.vectors[like_id])

>>> array([-2.3334e+00, -1.3695e+00, -1.1330e+00, -6.8461e-01, ...])

spaCy के साथ Natural Language Processing