Grunderna i Natural Language Processing (NLP)

Naturlig språkbehandling med spaCy

Azadeh Mobasher

Principal Data Scientist

Natural Language Processing (NLP)

Ett delområde inom artificiell intelligens (AI)
Hjälper datorer att förstå mänskligt språk
Utvinnar insikter ur ostrukturerad data
Kombinerar statistik, maskininlärningsmodeller och djupinlärningsmodeller

NLP, ett delområde inom AI

Sentimentanalys

Exempel på sentimentanalys

Igenkänning av namngivna entiteter (NER)

Identifierar och klassificerar namngivna entiteter i ostrukturerad text i fördefinierade kategorier
Namngivna entiteter är verkliga objekt, till exempel personer eller platser

Exempel på NER

Chattbotar

spaCy är ett gratis, öppen källkod-bibliotek för NLP i Python som:

spaCy och NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Inläst spaCy-modell en_core_web_sm = nlp-objekt
nlp-objektet omvandlar text till ett Doc-objekt (behållare) för bearbetad text

Textbearbetning med spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenisering
- En Token definieras som den minsta meningsbärande delen av texten.
- Tokenisering: processen att dela upp en text i en lista med meningsfulla tokens

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Naturlig språkbehandling med spaCy