Ordslagstagning

Funktionsutveckling för NLP i Python

Rounak Banik

Data Scientist

Tillämpningar

  • Ordbetydelsedisambiguering
    • "The bear is a majestic animal"
    • "Please bear with me"
  • Sentimentanalys
  • Frågebesvarande
  • Detektion av falska nyheter och åsiktsspam
Funktionsutveckling för NLP i Python

POS-taggning

  • Varje ord tilldelas sitt motsvarande ordslag.
    "Jane is an amazing guitarist."
    
  • POS-taggning:
    • Janeegennamn
    • isverb
    • andeterminator
    • amazingadjektiv
    • guitaristsubstantiv
Funktionsutveckling för NLP i Python

POS-taggning med spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Jane is an amazing guitarist"
# Create a Doc object
doc = nlp(string)
Funktionsutveckling för NLP i Python

POS-taggning med spaCy

...
...
# Generate list of tokens and pos tags
pos = [(token.text, token.pos_) for token in doc]
print(pos)
[('Jane', 'PROPN'), 
 ('is', 'VERB'), 
 ('an', 'DET'), 
 ('amazing', 'ADJ'), 
 ('guitarist', 'NOUN')]
Funktionsutveckling för NLP i Python

POS-annotationer i spaCy

spaCy-dokumentation om POS-annotationer

Funktionsutveckling för NLP i Python

Nu kör vi en övning!

Funktionsutveckling för NLP i Python

Preparing Video For Download...