Налаштування моделей spaCy

Обробка природної мови (NLP) зі spaCy

Azadeh Mobasher

Principal data scientist

Навіщо тренувати моделі spaCy?

  • Добре підходять для загальних задач NLP
  • Але під час навчання могли не бачити даних специфічних доменів, напр.:
    • дані Twitter
    • медичні дані

Приклад NER у медичному домені

Обробка природної мови (NLP) зі spaCy

Навіщо тренувати моделі spaCy?

 

  • Кращі результати у вашому специфічному домені
  • Необхідно для класифікації текстів за доменом

 

Перш ніж почати навчання, поставте запитання:

  • Чи моделі spaCy достатньо добре працюють на наших даних?
  • Чи є в нашому домені багато міток, яких немає в моделях spaCy?
Обробка природної мови (NLP) зі spaCy

Продуктивність моделей на наших даних

  • Чи моделі spaCy достатньо добре працюють на наших даних?
  • Oxford Street неправильно віднесено до мітки GPE:
import spacy
nlp = spacy.load("en_core_web_sm")

text = "The car was navigating to the Oxford Street."
doc = nlp(text)
print([(ent.text, ent.label_) for ent in doc.ents])

[('the Oxford Street', 'ORG')]
Обробка природної мови (NLP) зі spaCy

Вихідні мітки в моделях spaCy

  • Чи є в нашому домені багато міток, яких немає в моделях spaCy?

Приклад NER для звичайного та медичного доменів

Обробка природної мови (NLP) зі spaCy

Вихідні мітки в моделях spaCy

 

Якщо потрібне навчання під ваш домен, дотримуйтесь кроків:

  • Зберіть доменно-специфічні дані
  • Розмітьте дані
  • Вирішіть, оновлювати наявну модель чи тренувати з нуля
Обробка природної мови (NLP) зі spaCy

Давайте потренуємось!

Обробка природної мови (NLP) зі spaCy

Preparing Video For Download...