Základy zpracování přirozeného jazyka (NLP)

Zpracování přirozeného jazyka s knihovnou spaCy

Azadeh Mobasher

Principal Data Scientist

Zpracování přirozeného jazyka (NLP)

Podobor umělé inteligence (AI)
Pomáhá počítačům porozumět lidskému jazyku
Umožňuje získávat poznatky z nestrukturovaných dat
Využívá statistiku, modely strojového učení a modely hlubokého učení

NLP, podobor AI

Analýza sentimentu

Příklady analýzy sentimentu

Rozpoznávání pojmenovaných entit (NER)

Vyhledávání a klasifikace pojmenovaných entit v nestrukturovaném textu do předdefinovaných kategorií
Pojmenované entity jsou objekty reálného světa, např. osoby nebo místa

Příklady NER

Chatboti

spaCy je bezplatná, open-source knihovna pro NLP v Pythonu, která:

spaCy a NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Načtený model spaCy en_core_web_sm = objekt nlp
Objekt nlp převádí text na objekt Doc (kontejner) pro uložení zpracovaného textu

Zpracování textu pomocí spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenizace
- Token je nejmenší smysluplná část textu.
- Tokenizace: rozdělení textu na seznam smysluplných tokenů

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Zpracování přirozeného jazyka s knihovnou spaCy