Pipa pemrosesan

NLP Lanjutan dengan spaCy

Ines Montani

spaCy core developer

Apa yang terjadi saat memanggil nlp?

Ilustrasi pipa spaCy yang mengubah teks menjadi Doc terproses

doc = nlp("This is a sentence.")
NLP Lanjutan dengan spaCy

Komponen pipa bawaan

Nama Deskripsi Membuat
tagger Penanda kelas kata (POS) Token.tag
parser Parser dependensi Token.dep, Token.head, Doc.sents, Doc.noun_chunks
ner Pengenal entitas bernama Doc.ents, Token.ent_iob, Token.ent_type
textcat Klasifikasi teks Doc.cats
NLP Lanjutan dengan spaCy

Di balik layar

Ilustrasi paket berlabel en_core_web_sm, folder, berkas, dan meta.json

  • Pipa ditentukan di meta.json model, berurutan
  • Komponen bawaan butuh data biner untuk membuat prediksi
NLP Lanjutan dengan spaCy

Atribut pipa

  • nlp.pipe_names: daftar nama komponen pipa
print(nlp.pipe_names)

['tagger', 'parser', 'ner']
  • nlp.pipeline: daftar tuple (name, component)
print(nlp.pipeline)

[('tagger', <spacy.pipeline.Tagger>),
 ('parser', <spacy.pipeline.DependencyParser>),
 ('ner', <spacy.pipeline.EntityRecognizer>)]
NLP Lanjutan dengan spaCy

Ayo berlatih!

NLP Lanjutan dengan spaCy

Preparing Video For Download...