spaCy 모델 커스터마이징

spaCy로 배우는 자연어 처리

Azadeh Mobasher

Principal data scientist

왜 spaCy 모델을 학습할까요?

일반 NLP 용도에 잘 작동함
하지만 학습 중 특정 도메인 데이터를 보지 못했을 수 있음. 예:
- 트위터 데이터
- 의료 데이터

의료 도메인 NER 예시

왜 spaCy 모델을 학습할까요?

특정 도메인에서 더 좋은 성능
도메인 특화 텍스트 분류에 필수

학습 전, 다음을 확인합니다:

spaCy 모델이 우리 데이터에서 충분히 잘 동작하는가?
도메인에 spaCy 모델에 없는 레이블이 많은가?

우리 데이터에서의 모델 성능

spaCy 모델이 우리 데이터에서 충분히 잘 동작하는가?
Oxford Street가 GPE 레이블로 올바르게 분류되지 않음:

import spacy
nlp = spacy.load("en_core_web_sm")

text = "The car was navigating to the Oxford Street."
doc = nlp(text)
print([(ent.text, ent.label_) for ent in doc.ents])

[('the Oxford Street', 'ORG')]

spaCy 모델의 출력 레이블

도메인에 spaCy 모델에 없는 레이블이 많은가?

일반 vs. 의료 도메인의 NER 예시

spaCy 모델의 출력 레이블

커스텀 학습이 필요하다면, 다음을 수행합니다:

도메인 데이터 수집
데이터 주석 달기(라벨링)
기존 모델 업데이트 vs. 처음부터 학습 결정

연습해 봅시다!

spaCy로 배우는 자연어 처리