Pipelines spaCy

Traitement du langage naturel avec spaCy

Azadeh Mobasher

Principal Data Scientist

Pipelines spaCy

spaCy commence par tokenizer le texte pour produire un objet Doc
Le Doc est traité en plusieurs étapes d'une pipeline de traitement

import spacy
nlp = spacy.load("en_core_web_sm")

doc = nlp(example_text)

Pipelines spaCy

Une pipeline est une suite d'étapes, ou acteurs sur les données
Une pipeline spaCy pour NER :
- Tokenization
- Identification des entités nommées
- Classification des entités nommées

Exemple de pipeline spaCy pour la NER

print([ent.text for ent in doc.ents])

Ajouter des étapes (pipes)

sentencizer : composant de pipeline spaCy pour la segmentation en phrases.

text = " ".join(["This is a test sentence."]*10000)

en_core_sm_nlp = spacy.load("en_core_web_sm")
start_time = time.time()
doc = en_core_sm_nlp(text)

print(f"Finished processing with en_core_web_sm model in
        {round((time.time() - start_time)/60.0 , 5)} minutes")

>>> Finished processing with en_core_web_sm model in 0.09332 minutes

Ajouter des étapes (pipes)

Créer un modèle vierge et ajouter un sentencizer :

blank_nlp = spacy.blank("en")

blank_nlp.add_pipe("sentencizer")

start_time = time.time()
doc = blank_nlp(text)
print(f"Finished processing with blank model in
       {round((time.time() - start_time)/60.0 , 5)} minutes")

>>> Finished processing with blank model in 0.00091 minutes

Analyser les composants de la pipeline

nlp.analyze_pipes() analyse une pipeline spaCy pour déterminer :
- Les attributs définis par les composants
- Les scores produits pendant l'entraînement
- La présence de tous les attributs requis

Définir pretty à True affiche un tableau au lieu de retourner seulement les données structurées.

import spacy

nlp = spacy.load("en_core_web_sm")
analysis = nlp.analyze_pipes(pretty=True)

Analyser les composants de la pipeline

Résultat de la méthode analyze_pipes

Passons à la pratique !

Traitement du langage naturel avec spaCy