Matcher et PhraseMatcher de spaCy

Traitement du langage naturel avec spaCy

Azadeh Mobasher

Principal Data Scientist

Matcher dans spaCy

Les modèles RegEx peuvent être complexes, difficiles à lire et à déboguer.
spaCy offre une solution lisible et prête pour la production : la classe Matcher.

import spacy
from spacy.matcher import Matcher

nlp = spacy.load("en_core_web_sm")
doc = nlp("Good morning, this is our first day on campus.")

matcher = Matcher(nlp.vocab)

Matcher dans spaCy

La sortie du repérage inclut les indices de jetons début et fin du motif trouvé.

pattern = [{"LOWER": "good"}, {"LOWER": "morning"}]

matcher.add("morning_greeting", [pattern])

matches = matcher(doc)
for match_id, start, end in matches:
    print("Start token: ", start, " | End token: ", end, 
          "| Matched text: ", doc[start:end].text)

>>> Start token:  0  | End token:  2 | Matched text:  Good morning

Syntaxe étendue du Matcher

Permet d'utiliser des opérateurs pour définir les motifs.
Opérateurs semblables à in, not in de Python et aux opérateurs de comparaison

Attribut	Type de valeur	Description
`IN`	tout type	La valeur de l'attribut est un membre d'une liste
`NOT_IN`	tout type	La valeur de l'attribut n'est *pas* un membre d'une liste
`==`, `>=`, `<=`, `>`, `<`	int, float	Opérateurs de comparaison pour tester l'égalité ou l'inégalité

Syntaxe étendue du Matcher

Utiliser l'opérateur IN pour repérer good morning et good evening

doc = nlp("Good morning and good evening.")
matcher = Matcher(nlp.vocab)
pattern = [{"LOWER": "good"}, {"LOWER": {"IN": ["morning", "evening"]}}]
matcher.add("morning_greeting", [pattern])
matches = matcher(doc)

Sortie du repérage avec l'opérateur IN

for match_id, start, end in matches:
    print("Start token: ", start, " | End token: ", end,
          "| Matched text: ", doc[start:end].text)

>>> Start token:  0  | End token:  2 | Matched text:  Good morning
Start token:  3  | End token:  5 | Matched text:  good evening

PhraseMatcher dans spaCy

La classe PhraseMatcher fait correspondre une longue liste de syntagmes dans un texte donné.

from spacy.matcher import PhraseMatcher
nlp = spacy.load("en_core_web_sm")
matcher = PhraseMatcher(nlp.vocab)
terms = ["Bill Gates", "John Smith"]

PhraseMatcher dans spaCy

Les sorties de PhraseMatcher incluent les indices de jetons début et fin du motif repéré

patterns = [nlp.make_doc(term) for term in terms]
matcher.add("PeopleOfInterest", patterns)

doc = nlp("Bill Gates met John Smith for an important discussion regarding 
           importance of AI.")

matches = matcher(doc)
for match_id, start, end in matches:
    print("Start token: ", start, " | End token: ", end, 
          "| Matched text: ", doc[start:end].text)

>>> Start token:  0  | End token:  2 | Matched text:  Bill Gates
Start token:  3  | End token:  5 | Matched text:  John Smith

PhraseMatcher dans spaCy

On peut utiliser l'argument attr de la classe PhraseMatcher

matcher = PhraseMatcher(nlp.vocab, attr = "LOWER")

terms = ["Government", "Investment"]
patterns = [nlp.make_doc(term) for term in terms]
matcher.add("InvestmentTerms", patterns)
doc = nlp("It was interesting to the investment division of the government.")

matcher = PhraseMatcher(nlp.vocab, attr = "SHAPE")

terms = ["110.0.0.0", "101.243.0.0"]
patterns = [nlp.make_doc(term) for term in terms]
matcher.add("IPAddresses", patterns)
doc = nlp("The tracked IP address was 234.135.0.0.")

Passons à la pratique !

Traitement du langage naturel avec spaCy