품사 태깅

Python으로 배우는 NLP 피처 엔지니어링

Rounak Banik

Data Scientist

활용 사례

  • 단어 의미 중의성 해소
    • "The bear is a majestic animal"
    • "Please bear with me"
  • 감성 분석
  • 질의응답
  • 가짜 뉴스·의견 스팸 탐지
Python으로 배우는 NLP 피처 엔지니어링

품사 태깅

  • 각 단어에 해당 품사를 지정합니다.
    "Jane is an amazing guitarist."
    
  • 품사 태깅:
    • Jane고유명사
    • is동사
    • an한정사
    • amazing형용사
    • guitarist명사
Python으로 배우는 NLP 피처 엔지니어링

spaCy로 품사 태깅

import spacy

# Load the en_core_web_sm model
nlp = spacy.load('en_core_web_sm')
# Initiliaze string
string = "Jane is an amazing guitarist"
# Create a Doc object
doc = nlp(string)
Python으로 배우는 NLP 피처 엔지니어링

spaCy로 품사 태깅

...
...
# Generate list of tokens and pos tags
pos = [(token.text, token.pos_) for token in doc]
print(pos)
[('Jane', 'PROPN'), 
 ('is', 'VERB'), 
 ('an', 'DET'), 
 ('amazing', 'ADJ'), 
 ('guitarist', 'NOUN')]
Python으로 배우는 NLP 피처 엔지니어링

spaCy의 품사 주석

POS 주석에 대한 spaCy 문서

Python으로 배우는 NLP 피처 엔지니어링

연습해 봅시다!

Python으로 배우는 NLP 피처 엔지니어링

Preparing Video For Download...