Введение в SpaCy

Введение в обработку естественного языка на Python

Katharine Jarmul

Founder, kjamistan

Что такое SpaCy?

  • Библиотека NLP, схожая с gensim, но с другой реализацией
  • Создание NLP-пайплайнов для генерации моделей и корпусов
  • Открытый исходный код, дополнительные библиотеки и инструменты
    • Displacy
Введение в обработку естественного языка на Python

Визуализатор именованных сущностей Displacy

Пример displacy

(источник: https://demos.explosion.ai/displacy-ent/)

Введение в обработку естественного языка на Python
import spacy

nlp = spacy.load('en_core_web_sm')

nlp.entity

<spacy.pipeline.EntityRecognizer at 0x7f76b75e68b8>

doc = nlp("""Berlin is the capital of Germany; 
                  and the residence of Chancellor Angela Merkel.""")

doc.ents

(Berlin, Germany, Angela Merkel)

print(doc.ents[0], doc.ents[0].label_)

Berlin GPE
Введение в обработку естественного языка на Python

Зачем использовать SpaCy для NER?

  • Простое создание пайплайнов
  • Типы сущностей отличаются от nltk
  • Корпуса разговорного языка
    • Легко находить сущности в твитах и чатах
  • Быстро развивается!
Введение в обработку естественного языка на Python

Давайте потренируемся!

Введение в обработку естественного языка на Python

Preparing Video For Download...