Verwerkingspipelines

Geavanceerde NLP met spaCy

Ines Montani

spaCy core developer

Wat gebeurt er als je nlp aanroept?

Illustratie van de spaCy-pipeline die tekst omzet in een verwerkte Doc

doc = nlp("This is a sentence.")
Geavanceerde NLP met spaCy

Ingebouwde pipelinecomponenten

Naam Beschrijving Maakt
tagger Woordsoortentagger Token.tag
parser Afhankelijkheidsparser Token.dep, Token.head, Doc.sents, Doc.noun_chunks
ner Herkenner van benoemde entiteiten Doc.ents, Token.ent_iob, Token.ent_type
textcat Tekstclassificatie Doc.cats
Geavanceerde NLP met spaCy

Achter de schermen

Illustratie van een pakket met label en_core_web_sm, mappen, bestanden en de meta.json

  • Pipeline in model-meta.json gedefinieerd, op volgorde
  • Ingebouwde componenten hebben binaire data nodig voor voorspellingen
Geavanceerde NLP met spaCy

Pipeline-attributen

  • nlp.pipe_names: lijst met componentnamen van de pipeline
print(nlp.pipe_names)

['tagger', 'parser', 'ner']
  • nlp.pipeline: lijst met (name, component)-tuples
print(nlp.pipeline)

[('tagger', <spacy.pipeline.Tagger>),
 ('parser', <spacy.pipeline.DependencyParser>),
 ('ner', <spacy.pipeline.EntityRecognizer>)]
Geavanceerde NLP met spaCy

Laten we oefenen!

Geavanceerde NLP met spaCy

Preparing Video For Download...