Rozpoznawanie nazwanych jednostek

Inżynieria cech dla NLP w Pythonie

Rounak Banik

Data Scientist

Zastosowania

  • Wydajne algorytmy wyszukiwania
  • Pytania i odpowiedzi
  • Klasyfikacja artykułów prasowych
  • Obsługa klienta
Inżynieria cech dla NLP w Pythonie

Rozpoznawanie nazwanych jednostek

  • Identyfikowanie i klasyfikowanie nazwanych jednostek do predefiniowanych kategorii.
  • Kategorie obejmują osobę, organizację, kraj itp.
    "John Doe is a software engineer working at Google. He lives in France."
    
  • Nazwane jednostki
  • John Doe → osoba
  • Google → organizacja
  • France → kraj (jednostka geopolityczna)
Inżynieria cech dla NLP w Pythonie

NER z użyciem spaCy

import spacy
string = "John Doe is a software engineer working at Google. He lives in France."

# Load model and create Doc object
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)

# Generate named entities ne = [(ent.text, ent.label_) for ent in doc.ents] print(ne)
[('John Doe', 'PERSON'), ('Google', 'ORG'), ('France', 'GPE')]
Inżynieria cech dla NLP w Pythonie

Adnotacje NER w spaCy

Dokumentacja spaCy dotycząca adnotacji NER

Inżynieria cech dla NLP w Pythonie

Słowo ostrzeżenia

  • Nie jest doskonałe
  • Wydajność zależy od danych treningowych i testowych
  • Należy trenować modele na specjalistycznych danych dla złożonych przypadków
  • Specyficzne dla języka
Inżynieria cech dla NLP w Pythonie

Czas na ćwiczenia!

Inżynieria cech dla NLP w Pythonie

Preparing Video For Download...