Eğitim verisi hazırlama

spaCy ile Natural Language Processing

Azadeh Mobasher

Principal data scientist

Eğitim adımları

Girdiyi etiketleyin ve hazırlayın
Model ağırlıklarını başlatın
Geçerli ağırlıklarla birkaç örnek tahmin edin
Tahmini doğru yanıtlarla karşılaştırın
En iyileyiciyle performansı artıran ağırlıkları hesaplayın
Ağırlıkları az miktarda güncelleyin
1. adıma dönün

Veriyi etiketleme ve hazırlama

İlk adım, eğitimi gereken biçimde veriyi hazırlamaktır
Veriyi topladıktan sonra onu etiketleriz
Etiketleme, niyeti, varlıkları vb. işaretlemektir
İşte etiketli veriye bir örnek:

annotated_data = {
"sentence": "An antiviral drugs used against influenza is neuraminidase inhibitors.",
"entities": {
             "label": "Medicine",
             "value": "neuraminidase inhibitors",
    }
}

Veriyi etiketleme ve hazırlama

İşte etiketli veriye başka bir örnek:

annotated_data = {
"sentence": "Bill Gates visited the SFO Airport.",
"entities": [{"label": "PERSON", "value": "Bill Gates"}, 
             {"label": "LOC", "value": "SFO Airport"}]
}

spaCy eğitim verisi biçimi

Veri etiketleme, modelin öğrenmesini istediğimiz şeye göre eğitim verisini hazırlar
Eğitim kümesi bir sözlük olarak saklanmalıdır:

training_data = [
("I will visit you in Austin.", {"entities": [(20, 26, "GPE")]}),
("I'm going to Sam's house.", {"entities": [(13,18, "PERSON"), (19, 24, "GPE")]}),
("I will go.", {"entities": []})
]

Üç örnek çift:

Her çiftin ilk öğesi bir cümledir
İkinci öğe, varlıkların başlangıç/bitiş karakterleriyle listesidir

Eğitim için Example nesnesi verisi

Ham metni doğrudan spaCy'ye veremeyiz
Her eğitim örneği için bir Example nesnesi oluşturmalıyız

import spacy
from spacy.training import Example

nlp = spacy.load("en_core_web_sm")

doc = nlp("I will visit you in Austin.")

annotations = {"entities": [(20, 26, "GPE")]}

example_sentence = Example.from_dict(doc, annotations)

print(example_sentence.to_dict())

Haydi pratik yapalım!

spaCy ile Natural Language Processing