Erkennung benannter Entitäten

Feature Engineering für NLP in Python

Rounak Banik

Data Scientist

Anwendungsfälle

  • Effiziente Suchalgorithmen
  • Fragebeantwortung
  • Klassifikation von Nachrichtenartikeln
  • Kundenservice
Feature Engineering für NLP in Python

Erkennung benannter Entitäten

  • Erkennen und Klassifizieren benannter Entitäten in vordefinierte Kategorien.
  • Kategorien umfassen Person, Organisation, Land usw.
    "John Doe is a software engineer working at Google. He lives in France."
  • Benannte Entitäten
  • John Doe → Person
  • Google → Organisation
  • France → Land (geopolitische Einheit)
Feature Engineering für NLP in Python

NER mit spaCy

import spacy
string = "John Doe is a software engineer working at Google. He lives in France."

# Load model and create Doc object
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)


# Generate named entities
ne = [(ent.text, ent.label_) for ent in doc.ents]
print(ne)

[('John Doe', 'PERSON'), ('Google', 'ORG'), ('France', 'GPE')]
Feature Engineering für NLP in Python

NER-Annotationen in spaCy

spaCy-Dokumentation zu NER-Annotationen

Feature Engineering für NLP in Python

Ein Wort der Vorsicht

  • Nicht perfekt
  • Leistung hängt von Trainings- und Testdaten ab
  • Modelle mit spezialisiertem Datenmaterial für Feinheiten trainieren
  • Sprachspezifisch
Feature Engineering für NLP in Python

Lass uns üben!

Feature Engineering für NLP in Python

Preparing Video For Download...