개체명 인식

Python으로 배우는 NLP 피처 엔지니어링

Rounak Banik

Data Scientist

활용 분야

  • 효율적인 검색 알고리즘
  • 질의응답
  • 뉴스 기사 분류
  • 고객 서비스
Python으로 배우는 NLP 피처 엔지니어링

개체명 인식

  • 개체명을 미리 정의된 범주로 식별·분류합니다.
  • 범주: 사람, 조직, 국가 등
    "John Doe is a software engineer working at Google. He lives in France."
  • 개체명
  • John Doe → 사람
  • Google → 조직
  • France → 국가(지정학적 실체)
Python으로 배우는 NLP 피처 엔지니어링

spaCy로 NER 수행

import spacy
string = "John Doe is a software engineer working at Google. He lives in France."

# Load model and create Doc object
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)


# Generate named entities
ne = [(ent.text, ent.label_) for ent in doc.ents]
print(ne)

[('John Doe', 'PERSON'), ('Google', 'ORG'), ('France', 'GPE')]
Python으로 배우는 NLP 피처 엔지니어링

spaCy의 NER 주석

NER 주석에 대한 spaCy 문서

Python으로 배우는 NLP 피처 엔지니어링

유의 사항

  • 완벽하지 않음
  • 성능은 학습·평가 데이터에 좌우됨
  • 미묘한 경우엔 특화 데이터로 재학습 필요
  • 언어별 차이 존재
Python으로 배우는 NLP 피처 엔지니어링

연습해 봅시다!

Python으로 배우는 NLP 피처 엔지니어링

Preparing Video For Download...