spaCyモデルのカスタマイズ

spaCyで学ぶNatural Language Processing

Azadeh Mobasher

Principal data scientist

なぜspaCyモデルを学習するのか

  • 一般的なNLP用途には有効
  • ただし学習時に特定ドメインのデータを見ていない場合がある。例:
    • Twitter データ
    • 医療データ

医療ドメインのNER例

spaCyで学ぶNatural Language Processing

なぜspaCyモデルを学習するのか

 

  • 自分のドメインで精度が向上
  • ドメイン特化のテキスト分類に必須

 

学習前に次を確認:

  • spaCyモデルは自分のデータで十分に機能するか？
  • ドメインにspaCyモデルにないラベルが多いか？
spaCyで学ぶNatural Language Processing

自分のデータでのモデル性能

  • spaCyモデルは自分のデータで十分に機能するか？
  • Oxford StreetがGPEとして正しく分類されない例:
import spacy
nlp = spacy.load("en_core_web_sm")

text = "The car was navigating to the Oxford Street."
doc = nlp(text)
print([(ent.text, ent.label_) for ent in doc.ents])

[('the Oxford Street', 'ORG')]
spaCyで学ぶNatural Language Processing

spaCyモデルの出力ラベル

  • ドメインにspaCyモデルにないラベルが多いか？

一般 vs 医療ドメインのNER例

spaCyで学ぶNatural Language Processing

spaCyモデルの出力ラベル

 

カスタム学習が必要な場合の手順:

  • ドメインデータを収集
  • データにアノテーション
  • 既存モデルの更新かゼロから学習かを決定
spaCyで学ぶNatural Language Processing

演習に進みましょう！

spaCyで学ぶNatural Language Processing

Preparing Video For Download...