Training data preparation

spaCy के साथ Natural Language Processing

Azadeh Mobasher

Principal data scientist

Training steps

इनपुट डेटा को annotate करके तैयार करें
मॉडल के वेट initialize करें
मौजूदा वेट्स से कुछ उदाहरण predict करें
prediction को सही उत्तरों से तुलना करें
optimizer से ऐसे वेट्स निकालें जो मॉडल का प्रदर्शन बेहतर करें
वेट्स को थोड़ा अपडेट करें
स्टेप 3 पर लौटें।

Annotating and preparing data

पहला कदम है training डेटा को आवश्यक फ़ॉर्मेट में तैयार करना
डेटा जुटाने के बाद हम इसे annotate करते हैं
Annotation का मतलब है intent, entities आदि को label करना
यह annotated डेटा का एक उदाहरण है:

annotated_data = {
"sentence": "An antiviral drugs used against influenza is neuraminidase inhibitors.",
"entities": {
             "label": "Medicine",
             "value": "neuraminidase inhibitors",
    }
}

Annotating and preparing data

annotated डेटा का एक और उदाहरण:

annotated_data = {
"sentence": "Bill Gates visited the SFO Airport.",
"entities": [{"label": "PERSON", "value": "Bill Gates"}, 
             {"label": "LOC", "value": "SFO Airport"}]
}

spaCy training data format

Data annotation से training डेटा वैसा बनता है जैसा हम मॉडल को सिखाना चाहते हैं
Training डेटासेट को dictionary की तरह स्टोर करना होता है:

training_data = [
("I will visit you in Austin.", {"entities": [(20, 26, "GPE")]}),
("I'm going to Sam's house.", {"entities": [(13,18, "PERSON"), (19, 24, "GPE")]}),
("I will go.", {"entities": []})
]

तीन example pairs:

हर example pair में पहला एलिमेंट एक sentence होता है
pair का दूसरा एलिमेंट annotated entities की लिस्ट और उनके start एवं end characters होते हैं

Example object data for training

हम raw text को सीधे spaCy में feed नहीं कर सकते
हर training example के लिए हमें एक Example ऑब्जेक्ट बनाना होगा

import spacy
from spacy.training import Example

nlp = spacy.load("en_core_web_sm")

doc = nlp("I will visit you in Austin.")

annotations = {"entities": [(20, 26, "GPE")]}

example_sentence = Example.from_dict(doc, annotations)

print(example_sentence.to_dict())

अभ्यास करते हैं!

spaCy के साथ Natural Language Processing