Penandaan kelas kata

Rekayasa Fitur untuk NLP di Python

Rounak Banik

Data Scientist

Aplikasi

  • Disambiguasi makna kata
    • "The bear is a majestic animal"
    • "Please bear with me"
  • Analisis sentimen
  • Penjawaban pertanyaan
  • Deteksi berita palsu dan spam opini
Rekayasa Fitur untuk NLP di Python

Penandaan POS

  • Memberi setiap kata kelas katanya.
    "Jane is an amazing guitarist."
    
  • POS Tagging:
    • Janekata benda khusus
    • isverba
    • andeterminer
    • amazingadjektiva
    • guitaristnomina
Rekayasa Fitur untuk NLP di Python

Penandaan POS dengan spaCy

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Jane is an amazing guitarist"
# Create a Doc object
doc = nlp(string)
Rekayasa Fitur untuk NLP di Python

Penandaan POS dengan spaCy

...
...
# Generate list of tokens and pos tags
pos = [(token.text, token.pos_) for token in doc]
print(pos)
[('Jane', 'PROPN'), 
 ('is', 'VERB'), 
 ('an', 'DET'), 
 ('amazing', 'ADJ'), 
 ('guitarist', 'NOUN')]
Rekayasa Fitur untuk NLP di Python

Anotasi POS di spaCy

Dokumentasi spaCy tentang anotasi POS

Rekayasa Fitur untuk NLP di Python

Ayo berlatih!

Rekayasa Fitur untuk NLP di Python

Preparing Video For Download...