spaCy EntityRuler

Processamento de Linguagem Natural com spaCy

Azadeh Mobasher

Principal Data Scientist

spaCy EntityRuler

EntityRuler adiciona entidades nomeadas a um contêiner Doc
Pode ser usado sozinho ou junto com EntityRecognizer
Padrões de entidade por frase para correspondências exatas (string):

{"label": "ORG", "pattern": "Microsoft"}

Padrões de entidade por token com um dicionário por token (lista):

{"label": "GPE", "pattern": [{"LOWER": "san"}, {"LOWER": "francisco"}]}

Adicionando EntityRuler ao pipeline do spaCy

Usando o método .add_pipe()
Lista de padrões pode ser adicionada com .add_patterns()

nlp = spacy.blank("en")
entity_ruler = nlp.add_pipe("entity_ruler")
patterns = [{"label": "ORG", "pattern": "Microsoft"},
            {"label": "GPE", "pattern": [{"LOWER": "san"}, {"LOWER": "francisco"}]}]
entity_ruler.add_patterns(patterns)

Adicionando EntityRuler ao pipeline do spaCy

.ents armazena os resultados de um componente EntityLinker

doc = nlp("Microsoft is hiring software developer in San Francisco.")
print([(ent.text, ent.label_) for ent in doc.ents])

[('Microsoft', 'ORG'), ('San Francisco', 'GPE')]

EntityRuler em ação

Integra com componentes do pipeline do spaCy
Melhora o reconhecedor de entidades nomeadas
Modelo spaCy sem EntityRuler:

nlp = spacy.load("en_core_web_sm")

doc = nlp("Manhattan associates is a company in the U.S.")
print([(ent.text, ent.label_) for ent in doc.ents])

>>> [('Manhattan', 'GPE'), ('U.S.', 'GPE')]

EntityRuler em ação

EntityRuler adicionado após o componente ner existente:

nlp = spacy.load("en_core_web_sm")
ruler = nlp.add_pipe("entity_ruler", after='ner')
patterns = [{"label": "ORG", "pattern": [{"lower": "manhattan"}, {"lower": "associates"}]}]
ruler.add_patterns(patterns)

doc = nlp("Manhattan associates is a company in the U.S.")
print([(ent.text, ent.label_) for ent in doc.ents])

>>> [('Manhattan', 'GPE'), ('U.S.', 'GPE')]

EntityRuler em ação

EntityRuler adicionado antes do componente ner existente:

nlp = spacy.load("en_core_web_sm")
ruler = nlp.add_pipe("entity_ruler", before='ner')
patterns = [{"label": "ORG", "pattern": [{"lower": "manhattan"}, {"lower": "associates"}]}]
ruler.add_patterns(patterns)

doc = nlp("Manhattan associates is a company in the U.S.")
print([(ent.text, ent.label_) for ent in doc.ents])

>>> [('Manhattan associates', 'ORG'), ('U.S.', 'GPE')]

Vamos praticar!

Processamento de Linguagem Natural com spaCy