spaCy ile eğitim

spaCy ile Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

Eğitim adımları

Girdiyi açıklayın ve hazırlayın
Diğer boru hattı bileşenlerini devre dışı bırakın
Modeli birkaç epoch için eğitin
Modeli değerlendirin

Diğer boru hattı bileşenlerini devre dışı bırakma

NER dışındaki tüm boru hattı bileşenlerini devre dışı bırakın:

other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'ner']

nlp.disable_pipes(*other_pipes)

Model eğitim süreci

Eğitim setini birkaç kez dolaşın; her yineleme bir epoch’tur.
Her epoch’ta modelin ağırlıklarını küçük bir miktar güncelleyin.
Optimizasyon algoritmaları ağırlıkları günceller.

optimizer = nlp.create_optimizer()

losses = {}
for i in range(epochs):
  random.shuffle(training_data)

  for text, annotation in training_data:
    doc = nlp.make_doc(text)
    example = Example.from_dict(doc, annotation)

    nlp.update([example], sgd = optimizer, losses=losses)

Eğitilmiş modeli kaydetme ve yükleme

Eğitilmiş bir NER modelini kaydedin:

ner = nlp.get_pipe("ner")
ner.to_disk("<ner model name>")

Kaydedilen modeli yükleyin:

ner = nlp.create_pipe("ner")
ner.from_disk("<ner model name>")
nlp.add_pipe(ner, "<ner model name>")

Çıkarım için model

Çıkarımda kaydedilmiş bir modeli kullanın.

NER modelini uygulayın ve (varlık metni, varlık etiketi) çiftlerini saklayın:

doc = nlp(text)
entities = [(ent.text, ent.label_) for ent in doc.ents]

Haydi pratik yapalım!

spaCy ile Natural Language Processing