Обучение с помощью spaCy

Обработка естественного языка с помощью spaCy

Azadeh Mobasher

Principal Data Scientist

Этапы обучения

Аннотирование и подготовка входных данных
Отключение остальных компонентов конвейера
Обучение модели в течение нескольких эпох
Оценка качества модели

Отключение остальных компонентов конвейера

Отключите все компоненты конвейера, кроме NER:

other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'ner']

nlp.disable_pipes(*other_pipes)

Процедура обучения модели

Обучающую выборку проходят несколько раз; одна итерация называется epoch.
На каждой эпохе веса модели обновляются на небольшую величину.
Оптимизаторы обновляют веса модели.

optimizer = nlp.create_optimizer()

losses = {}
for i in range(epochs):
  random.shuffle(training_data)

  for text, annotation in training_data:
    doc = nlp.make_doc(text)
    example = Example.from_dict(doc, annotation)

    nlp.update([example], sgd = optimizer, losses=losses)

Сохранение и загрузка обученной модели

Сохранение обученной NER-модели:

ner = nlp.get_pipe("ner")
ner.to_disk("<ner model name>")

Загрузка сохранённой модели:

ner = nlp.create_pipe("ner")
ner.from_disk("<ner model name>")
nlp.add_pipe(ner, "<ner model name>")

Модель для инференса

Используйте сохранённую модель для инференса.

Примените NER-модель и сохраните кортежи (текст сущности, метка сущности):

doc = nlp(text)
entities = [(ent.text, ent.label_) for ent in doc.ents]

Давайте потренируемся!

Обработка естественного языка с помощью spaCy