自定义 spaCy 模型

使用 spaCy 的自然语言处理

Azadeh Mobasher

Principal data scientist

为何训练 spaCy 模型？

  • 适用于常见 NLP 用例
  • 但训练时可能未见过特定领域数据，例如：
    • Twitter 数据
    • 医疗 数据

医疗领域 NER 示例

使用 spaCy 的自然语言处理

为何训练 spaCy 模型？

 

  • 在你的特定领域上效果更佳
  • 对于领域文本分类至关重要

 

在开始训练前，先思考：

  • spaCy 模型在我们的数据上是否足够好？
  • 我们的领域是否包含 spaCy 模型中缺失的许多标签？
使用 spaCy 的自然语言处理

模型在我们数据上的表现

  • spaCy 模型在我们的数据上是否足够好？
  • Oxford Street 未被正确分类为 GPE：
import spacy
nlp = spacy.load("en_core_web_sm")

text = "The car was navigating to the Oxford Street."
doc = nlp(text)
print([(ent.text, ent.label_) for ent in doc.ents])

[('the Oxford Street', 'ORG')]
使用 spaCy 的自然语言处理

spaCy 模型的输出标签

  • 我们的领域是否包含 spaCy 模型中缺失的许多标签？

通用 vs 医疗领域的 NER 示例

使用 spaCy 的自然语言处理

spaCy 模型的输出标签

 

若需自定义训练，遵循以下步骤：

  • 收集领域数据
  • 标注数据
  • 决定微调现有模型或从零训练
使用 spaCy 的自然语言处理

Passons à la pratique !

使用 spaCy 的自然语言处理

Preparing Video For Download...