spaCy ardışık düzenleri

spaCy ile Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

spaCy ardışık düzenleri

spaCy önce metni belirteçlere ayırarak bir Doc nesnesi oluşturur
Doc, işleme ardışık düzeninin çeşitli adımlarında işlenir

import spacy
nlp = spacy.load("en_core_web_sm")

doc = nlp(example_text)

spaCy ardışık düzenleri

Bir ardışık düzen, boruların sırasıdır; veride çalışan bileşenler
spaCy VNE (NER) ardışık düzeni:
- Belirteçleme (tokenization)
- Adlandırılmış varlık tanıma
- Adlandırılmış varlık sınıflandırma

VNE için bir spaCy ardışık düzeni örneği

print([ent.text for ent in doc.ents])

Boru ekleme

sentencizer: cümle bölütleme için spaCy ardışık düzen bileşeni.

text = " ".join(["This is a test sentence."]*10000)

en_core_sm_nlp = spacy.load("en_core_web_sm")
start_time = time.time()
doc = en_core_sm_nlp(text)

print(f"Finished processing with en_core_web_sm model in
        {round((time.time() - start_time)/60.0 , 5)} minutes")

>>> Finished processing with en_core_web_sm model in 0.09332 minutes

Boru ekleme

Boş bir model oluşturun ve bir sentencizer borusu ekleyin:

blank_nlp = spacy.blank("en")

blank_nlp.add_pipe("sentencizer")

start_time = time.time()
doc = blank_nlp(text)
print(f"Finished processing with blank model in
       {round((time.time() - start_time)/60.0 , 5)} minutes")

>>> Finished processing with blank model in 0.00091 minutes

Bileşenleri analiz etme

nlp.analyze_pipes(), bir spaCy ardışık düzenini şunları belirlemek için analiz eder:
- Bileşenlerin ayarladığı öznitelikler
- Eğitim sırasında bir bileşenin ürettiği skorlar
- Gerekli tüm özniteliklerin varlığı

pretty değerini True yapmak, yalnızca yapılandırılmış veri döndürmek yerine bir tablo yazdırır.

import spacy

nlp = spacy.load("en_core_web_sm")
analysis = nlp.analyze_pipes(pretty=True)

Bileşenleri analiz etme

analyze_pipes yönteminin sonucu

Hadi pratik yapalım!

spaCy ile Natural Language Processing