Розпізнавання іменованих сутностей

Інженерія ознак для NLP у Python

Rounak Banik

Data Scientist

Застосування

  • Ефективні алгоритми пошуку
  • Відповіді на запитання
  • Класифікація новинних статей
  • Служба підтримки
Інженерія ознак для NLP у Python

Розпізнавання іменованих сутностей

  • Виявлення та класифікація іменованих сутностей за наперед заданими категоріями.
  • Категорії: особа, організація, країна тощо.
    "John Doe is a software engineer working at Google. He lives in France."
  • Іменовані сутності
  • John Doe → особа
  • Google → організація
  • France → країна (геополітична одиниця)
Інженерія ознак для NLP у Python

NER у spaCy

import spacy
string = "John Doe is a software engineer working at Google. He lives in France."

# Load model and create Doc object
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)


# Generate named entities
ne = [(ent.text, ent.label_) for ent in doc.ents]
print(ne)

[('John Doe', 'PERSON'), ('Google', 'ORG'), ('France', 'GPE')]
Інженерія ознак для NLP у Python

Розмітка NER у spaCy

Документація spaCy щодо розмітки NER

Інженерія ознак для NLP у Python

Застереження

  • Не ідеально
  • Якість залежить від тренувальних і тестових даних
  • Навчайте моделі на спеціалізованих даних для тонких випадків
  • Залежить від мови
Інженерія ознак для NLP у Python

Давайте потренуємось!

Інженерія ознак для NLP у Python

Preparing Video For Download...