Noțiuni de bază despre procesarea limbajului natural (NLP)

Procesarea limbajului natural cu spaCy

Azadeh Mobasher

Principal Data Scientist

Procesarea limbajului natural (NLP)

Un subdomeniu al Inteligenței Artificiale (IA)
Ajută computerele să înțeleagă limbajul uman
Extrage informații din date nestructurate
Utilizează statistici, modele de machine learning și modele de deep learning

NLP, un subdomeniu al IA

Analiza sentimentelor

Exemple de analiză a sentimentelor

Recunoașterea entităților denumite (NER)

Localizarea și clasificarea entităților denumite din text nestructurat în categorii predefinite
Entitățile denumite sunt obiecte din lumea reală, precum o persoană sau o locație

Exemple NER

Chatboți

spaCy este o bibliotecă gratuită și open-source pentru NLP în Python, care:

spaCy și NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Modelul spaCy încărcat en_core_web_sm = obiect nlp
Obiectul nlp convertește textul într-un obiect Doc (container) pentru stocarea textului procesat

Procesarea textului cu spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenizare
- Un Token este cea mai mică unitate semnificativă a textului.
- Tokenizarea: procesul de divizare a textului într-o listă de tokeni semnificativi

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Procesarea limbajului natural cu spaCy