spaCy मॉडल्स को कस्टमाइज़ करना

spaCy के साथ Natural Language Processing

Azadeh Mobasher

Principal data scientist

spaCy मॉडल्स क्यों ट्रेन करें?

  • सामान्य NLP उपयोग मामलों में काफ़ी दूर तक काम आते हैं
  • लेकिन ट्रेनिंग के दौरान विशिष्ट डोमेन्स का डेटा शायद देखा हो, जैसे
    • Twitter डेटा
    • Medical डेटा

मेडिकल डोमेन NER का उदाहरण

spaCy के साथ Natural Language Processing

spaCy मॉडल्स क्यों ट्रेन करें?

 

  • आपके खास डोमेन पर बेहतर नतीजे
  • डोमेन-विशिष्ट टेक्स्ट क्लासिफिकेशन के लिए ज़रूरी

 

ट्रेनिंग शुरू करने से पहले ये सवाल पूछें:

  • क्या spaCy मॉडल्स हमारे डेटा पर काफ़ी अच्छे हैं?
  • क्या हमारे डोमेन में कई ऐसे लेबल हैं जो spaCy मॉडल्स में नहीं हैं?
spaCy के साथ Natural Language Processing

हमारे डेटा पर मॉडल्स का प्रदर्शन

  • क्या spaCy मॉडल्स हमारे डेटा पर काफ़ी अच्छे हैं?
  • Oxford Street को GPE लेबल से सही क्लासिफ़ाई नहीं किया गया:
import spacy
nlp = spacy.load("en_core_web_sm")

text = "The car was navigating to the Oxford Street."
doc = nlp(text)
print([(ent.text, ent.label_) for ent in doc.ents])
[('the Oxford Street', 'ORG')]
spaCy के साथ Natural Language Processing

spaCy मॉडल्स में आउटपुट लेबल्स

  • क्या हमारे डोमेन में कई ऐसे लेबल हैं जो spaCy मॉडल्स में नहीं हैं?

कॉमन बनाम मेडिकल डोमेन्स का NER उदाहरण

spaCy के साथ Natural Language Processing

spaCy मॉडल्स में आउटपुट लेबल्स

 

अगर हमें कस्टम मॉडल ट्रेनिंग चाहिए, तो ये कदम अपनाएँ:

  • अपने डोमेन का डेटा इकट्ठा करें
  • डेटा को एनोटेट करें
  • तय करें: मौजूदा मॉडल अपडेट करें या शुरू से ट्रेन करें
spaCy के साथ Natural Language Processing

अभ्यास करते हैं!

spaCy के साथ Natural Language Processing

Preparing Video For Download...