Doğal Dil İşleme (NLP) temel bilgileri

spaCy ile Natural Language Processing

Azadeh Mobasher

Principal Data Scientist

Doğal Dil İşleme (NLP)

AI'nin bir alt alanı olarak NLP

Duygu analizi

Duygu Analizi Örnekleri

Adlandırılmış varlık tanıma (NER)

Yapılandırılmamış metindeki adlandırılmış varlıkları önceden tanımlı kategorilere bulma ve sınıflandırma
Adlandırılmış varlıklar, kişi veya konum gibi gerçek dünya nesneleridir

NER Örnekleri

Sohbet botları

spaCy, Python için ücretsiz, açık kaynaklı bir NLP kütüphanesidir:

spaCy ve NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

spaCy ile metin işleme

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenleştirme
- Token, metnin en küçük anlamlı parçasıdır.
- Tokenleştirme: Metni anlamlı token’lara bölme işlemi

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

spaCy ile Natural Language Processing