Příprava trénovacích dat

Zpracování přirozeného jazyka s knihovnou spaCy

Azadeh Mobasher

Principal data scientist

Kroky trénování

Anotace a příprava vstupních dat
Inicializace vah modelu
Predikce několika příkladů s aktuálními váhami
Porovnání predikce se správnými odpověďmi
Výpočet vah pro zlepšení výkonu modelu pomocí optimalizátoru
Mírná aktualizace vah
Návrat ke kroku 3.

Anotace a příprava dat

Prvním krokem je příprava trénovacích dat v požadovaném formátu
Po shromáždění dat je anotujeme
Anotace znamená označení záměru, entit atd.
Příklad anotovaných dat:

annotated_data = {
"sentence": "An antiviral drugs used against influenza is neuraminidase inhibitors.",
"entities": {
             "label": "Medicine",
             "value": "neuraminidase inhibitors",
    }
}

Anotace a příprava dat

Další příklad anotovaných dat:

annotated_data = {
"sentence": "Bill Gates visited the SFO Airport.",
"entities": [{"label": "PERSON", "value": "Bill Gates"}, 
             {"label": "LOC", "value": "SFO Airport"}]
}

Formát trénovacích dat spaCy

Anotace dat připravuje trénovací data pro to, co má model naučit
Trénovací datová sada musí být uložena jako slovník:

training_data = [
("I will visit you in Austin.", {"entities": [(20, 26, "GPE")]}),
("I'm going to Sam's house.", {"entities": [(13,18, "PERSON"), (19, 24, "GPE")]}),
("I will go.", {"entities": []})
]

Tři příklady dvojic:

Každá dvojice obsahuje větu jako první prvek
Druhý prvek dvojice je seznam anotovaných entit s počátečními a koncovými znaky

Objekt Example pro trénování

Surový text nelze předat spaCy přímo
Pro každý trénovací příklad je nutné vytvořit objekt Example

import spacy
from spacy.training import Example

nlp = spacy.load("en_core_web_sm")

doc = nlp("I will visit you in Austin.")

annotations = {"entities": [(20, 26, "GPE")]}

example_sentence = Example.from_dict(doc, annotations)

print(example_sentence.to_dict())

Pojďme procvičovat!

Zpracování přirozeného jazyka s knihovnou spaCy