Recunoașterea entităților denumite

Ingineria caracteristicilor pentru NLP în Python

Rounak Banik

Data Scientist

Aplicații

  • Algoritmi de căutare eficienți
  • Răspuns la întrebări
  • Clasificarea articolelor de știri
  • Servicii pentru clienți
Ingineria caracteristicilor pentru NLP în Python

Recunoașterea entităților denumite

  • Identificarea și clasificarea entităților denumite în categorii predefinite.
  • Categoriile includ persoană, organizație, țară etc.
    "John Doe is a software engineer working at Google. He lives in France."
  • Entități denumite
  • John Doe → persoană
  • Google → organizație
  • France → țară (entitate geopolitică)
Ingineria caracteristicilor pentru NLP în Python

NER cu spaCy

import spacy
string = "John Doe is a software engineer working at Google. He lives in France."

# Load model and create Doc object
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)


# Generate named entities
ne = [(ent.text, ent.label_) for ent in doc.ents]
print(ne)

[('John Doe', 'PERSON'), ('Google', 'ORG'), ('France', 'GPE')]
Ingineria caracteristicilor pentru NLP în Python

Adnotări NER în spaCy

Documentația spaCy privind adnotările NER

Ingineria caracteristicilor pentru NLP în Python

O notă de precauție

  • Nu este perfect
  • Performanța depinde de datele de antrenare și de testare
  • Antrenați modele cu date specializate pentru cazuri complexe
  • Specific limbii
Ingineria caracteristicilor pentru NLP în Python

Să exersăm!

Ingineria caracteristicilor pentru NLP în Python

Preparing Video For Download...