พื้นฐาน Natural Language Processing (NLP)

การประมวลผลภาษาธรรมชาติด้วย spaCy

Azadeh Mobasher

Principal Data Scientist

Natural Language Processing (NLP)

NLP สาขาย่อยของ AI

การวิเคราะห์ความรู้สึก (Sentiment analysis)

ตัวอย่าง Sentiment Analysis

การรู้จำชื่อเฉพาะ (Named entity recognition — NER)

การระบุและจำแนกชื่อเฉพาะในข้อความไม่มีโครงสร้างออกเป็นหมวดหมู่ที่กำหนดไว้ล่วงหน้า
Named entities คือสิ่งของในโลกจริง เช่น บุคคลหรือสถานที่

ตัวอย่าง NER

Chatbots

spaCy คือไลบรารี NLP แบบ ฟรี และ โอเพนซอร์ส สำหรับ Python ซึ่ง:

spaCy และ NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

โหลดโมเดล spaCy ชื่อ en_core_web_sm = ออบเจกต์ nlp
ออบเจกต์ nlp แปลงข้อความเป็นออบเจกต์ Doc (container) สำหรับเก็บข้อความที่ผ่านการประมวลผล

การประมวลผลข้อความด้วย spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

การตัดคำ (Tokenization)
- Token คือหน่วยที่เล็กที่สุดที่มีความหมายในข้อความ
- Tokenization: กระบวนการแบ่งข้อความออกเป็น token ที่มีความหมาย

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

การประมวลผลภาษาธรรมชาติด้วย spaCy