การปรับแต่งโมเดล spaCy

การประมวลผลภาษาธรรมชาติด้วย spaCy

Azadeh Mobasher

Principal data scientist

ทำไมต้องฝึกโมเดล spaCy?

  • ใช้งานได้ดีสำหรับ NLP ทั่วไป
  • แต่อาจไม่เคยเห็นข้อมูลเฉพาะโดเมนระหว่างการฝึก เช่น
    • ข้อมูล Twitter
    • ข้อมูลทางการแพทย์

ตัวอย่าง NER ในโดเมนการแพทย์

การประมวลผลภาษาธรรมชาติด้วย spaCy

ทำไมต้องฝึกโมเดล spaCy?

 

  • ผลลัพธ์ที่ดีขึ้นสำหรับโดเมนเฉพาะของคุณ
  • จำเป็นสำหรับการจำแนกข้อความเฉพาะโดเมน

 

ก่อนเริ่มฝึก ให้ตั้งคำถามดังนี้:

  • โมเดล spaCy ทำงานได้ดีพอกับข้อมูลของเราหรือไม่?
  • โดเมนของเรามี label จำนวนมากที่ไม่มีในโมเดล spaCy หรือไม่?
การประมวลผลภาษาธรรมชาติด้วย spaCy

ประสิทธิภาพของโมเดลกับข้อมูลของเรา

  • โมเดล spaCy ทำงานได้ดีพอกับข้อมูลของเราหรือไม่?
  • Oxford Street ถูกจัดประเภทไม่ถูกต้องด้วย label GPE:
import spacy
nlp = spacy.load("en_core_web_sm")

text = "The car was navigating to the Oxford Street."
doc = nlp(text)
print([(ent.text, ent.label_) for ent in doc.ents])
[('the Oxford Street', 'ORG')]
การประมวลผลภาษาธรรมชาติด้วย spaCy

Output label ในโมเดล spaCy

  • โดเมนของเรามี label จำนวนมากที่ไม่มีในโมเดล spaCy หรือไม่?

ตัวอย่าง NER ของโดเมนทั่วไปและโดเมนการแพทย์

การประมวลผลภาษาธรรมชาติด้วย spaCy

Output label ในโมเดล spaCy

 

หากต้องการฝึกโมเดลแบบกำหนดเอง ให้ทำตามขั้นตอนเหล่านี้:

  • รวบรวมข้อมูลเฉพาะโดเมน
  • ทำ Annotation ข้อมูล
  • เลือกว่าจะอัปเดตโมเดลที่มีอยู่ หรือฝึกโมเดลใหม่ตั้งแต่ต้น
การประมวลผลภาษาธรรมชาติด้วย spaCy

มาฝึกกันเถอะ!

การประมวลผลภาษาธรรมชาติด้วย spaCy

Preparing Video For Download...