Podstawy przetwarzania języka naturalnego (NLP)

Przetwarzanie języka naturalnego z użyciem spaCy

Azadeh Mobasher

Principal Data Scientist

Przetwarzanie języka naturalnego (NLP)

Poddziedzina sztucznej inteligencji (AI)
Pomaga komputerom rozumieć język naturalny
Umożliwia ekstrakcję wiedzy z danych nieustrukturyzowanych
Wykorzystuje statystykę, modele uczenia maszynowego i modele głębokiego uczenia

NLP jako poddziedzina AI

Analiza wydźwięku

Przykłady analizy wydźwięku

Rozpoznawanie nazwanych jednostek (NER)

Lokalizowanie i klasyfikowanie nazwanych jednostek w tekście nieustrukturyzowanym
Nazwane jednostki to obiekty ze świata rzeczywistego, np. osoba lub miejscowość

Przykłady NER

Chatboty

spaCy to bezpłatna, open-source'owa biblioteka NLP dla Pythona, która:

spaCy i NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Załadowany model spaCy en_core_web_sm = obiekt nlp
Obiekt nlp przekształca tekst w obiekt Doc (kontener) przechowujący przetworzony tekst

Przetwarzanie tekstu w spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenizacja
- Token to najmniejsza sensowna jednostka tekstu.
- Tokenizacja: podział tekstu na listę znaczących tokenów

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Przetwarzanie języka naturalnego z użyciem spaCy