Przygotowanie danych treningowych

Przetwarzanie języka naturalnego z użyciem spaCy

Azadeh Mobasher

Principal data scientist

Etapy trenowania

Adnotacja i przygotowanie danych wejściowych
Inicjalizacja wag modelu
Predykcja kilku przykładów przy bieżących wagach
Porównanie predykcji z poprawnymi odpowiedziami
Użycie optymalizatora do obliczenia wag poprawiających model
Nieznaczna aktualizacja wag
Powrót do kroku 3.

Adnotacja i przygotowanie danych

Pierwszym krokiem jest przygotowanie danych treningowych w wymaganym formacie
Po zebraniu danych przeprowadzamy ich adnotację
Adnotacja polega na etykietowaniu intencji, encji itp.
Przykład danych z adnotacją:

annotated_data = {
"sentence": "An antiviral drugs used against influenza is neuraminidase inhibitors.",
"entities": {
             "label": "Medicine",
             "value": "neuraminidase inhibitors",
    }
}

Adnotacja i przygotowanie danych

Kolejny przykład danych z adnotacją:

annotated_data = {
"sentence": "Bill Gates visited the SFO Airport.",
"entities": [{"label": "PERSON", "value": "Bill Gates"}, 
             {"label": "LOC", "value": "SFO Airport"}]
}

Format danych treningowych w spaCy

Adnotacja danych przygotowuje dane treningowe do tego, czego model ma się nauczyć
Zbiór treningowy musi być zapisany jako słownik:

training_data = [
("I will visit you in Austin.", {"entities": [(20, 26, "GPE")]}),
("I'm going to Sam's house.", {"entities": [(13,18, "PERSON"), (19, 24, "GPE")]}),
("I will go.", {"entities": []})
]

Trzy przykładowe pary:

Pierwszym elementem każdej pary jest zdanie
Drugi element to lista adnotowanych encji ze znakami początku i końca

Obiekt Example w danych treningowych

Nie można przekazywać surowego tekstu bezpośrednio do spaCy
Dla każdego przykładu treningowego należy utworzyć obiekt Example

import spacy
from spacy.training import Example

nlp = spacy.load("en_core_web_sm")

doc = nlp("I will visit you in Austin.")

annotations = {"entities": [(20, 26, "GPE")]}

example_sentence = Example.from_dict(doc, annotations)

print(example_sentence.to_dict())

Czas na ćwiczenia!

Przetwarzanie języka naturalnego z użyciem spaCy