Yazıya dökülmüş metinde adlandırılmış varlık tanıma

Python ile Konuşma Dili İşleme

Daniel Bourke

Machine Learning Engineer/YouTube Creator

spaCy'yi yükleme

# Install spaCy
$ pip install spacy

# Download spaCy language model
$ python -m spacy download en_core_web_sm

spaCy kullanımı

import spacy


# Load spaCy language model
nlp = spacy.load("en_core_web_sm")

# Create a spaCy doc
text = ("I'd like to talk about a smartphone I ordered on July 31st "
        "from your Sydney store, my order number is 4093829. I spoke "
        "to one of your customer service team, Georgia, yesterday.")
doc = nlp(text)

spaCy belirteçleri

# Show different tokens and positions
for token in doc:
  print(token.text, token.idx)

I 0
'd 1
like 4
to 9
talk 12
about 17
a 23
smartphone 25...

spaCy cümleleri

# Show sentences in doc
for sentence in doc.sents:
  print(sentence)

I'd like to talk about a smartphone I ordered on July 31st from your Sydney store, 
my order number is 4093829.
I spoke to one of your customer service team, Georgia, yesterday.

spaCy adlandırılmış varlıklar

spaCy'nin yerleşik adlandırılmış varlıklarından bazıları:

PERSON İnsanlar, kurgu dahil.
ORG Şirketler, kurumlar vb.
GPE Ülkeler, şehirler, eyaletler.
PRODUCT Nesneler, araçlar, yiyecekler vb. (Hizmetler değil.)
DATE Mutlak/göreli tarihler veya dönemler.
TIME Bir günden küçük zamanlar.
MONEY Para değerleri, birim dahil.
CARDINAL Diğer türlere girmeyen sayılar.

spaCy adlandırılmış varlıklar

# Find named entities in doc
for entity in doc.ents:
  print(entity.text, entity.label_)

July 31st DATE
Sydney GPE
4093829 CARDINAL
one CARDINAL
Georgia GPE
yesterday DATE

Özel adlandırılmış varlıklar

# Check spaCy pipeline
print(nlp.pipe_names)

['tok2vec', 'tagger', 'parser',
 'attribute_ruler', 'lemmatizer', 'ner']

İşlem hattını değiştirme

# Add entity_ruler to the pipeline, before ner
ruler = nlp.add_pipe("entity_ruler", before="ner")

# Add token pattern to ruler
ruler.add_patterns([{"label":"PRODUCT", "pattern": "smartphone"}])

# Check updated pipeline
nlp.pipe_names

İşlem hattını değiştirme

['tok2vec', 'tagger', 'parser', 'attribute_ruler',
 'lemmatizer', 'entity_ruler', 'ner']

Yeni işlem hattını test etme

# Recreate the doc with the updated pipeline
doc = nlp(text)

# Test new entity rule
for entity in doc.ents:
  print(entity.text, entity.label_)

smartphone PRODUCT
July 31st DATE
Sydney GPE
4093829 CARDINAL
one CARDINAL
Georgia GPE
yesterday DATE

Haydi gaza basalım ve spaCy ile pratik yapalım!

Python ile Konuşma Dili İşleme