Introduction to natural language processing

การประมวลผลภาษาธรรมชาติ (NLP) ด้วย Python

Fouad Trad

Machine Learning Engineer

แนะนำผู้สอน...

ภาพของผู้สอน

Fouad Trad

Machine learning engineer
Research scientist
NLP ด้านความปลอดภัยทางไซเบอร์และการแพทย์

NLP คืออะไร?

ภาษาคือสื่อกลางหลักในการสื่อสารของมนุษย์
คอมพิวเตอร์ไม่เข้าใจภาษาของเรา

ภาพแสดงแหล่งที่พบภาษา ได้แก่ หนังสือ เว็บไซต์ โซเชียลมีเดีย และอีเมล

NLP คืออะไร?

ช่วยให้คอมพิวเตอร์วิเคราะห์ภาษาของมนุษย์ได้

ภาพแสดงคนพูดกับเครื่องจักร โดย NLP ทำหน้าที่แปลสิ่งที่พูดเพื่อให้เครื่องเข้าใจ

NLP workflow

ขั้นตอนแรกของ workflow: ข้อความดิบ

ข้อความดิบ: ตั้งแต่ทวีตจนถึงย่อหน้าในหนังสือ

NLP workflow

ขั้นตอนที่สองของ workflow: การประมวลผลเบื้องต้น

ข้อความดิบ: ตั้งแต่ทวีตจนถึงย่อหน้าในหนังสือ
การประมวลผลเบื้องต้น: ทำความสะอาดข้อความและลบส่วนที่ไม่จำเป็นออก

NLP workflow

ขั้นตอนที่สามของ workflow: การสกัด feature

ข้อความดิบ: ตั้งแต่ทวีตจนถึงย่อหน้าในหนังสือ
การประมวลผลเบื้องต้น: ทำความสะอาดข้อความและลบส่วนที่ไม่จำเป็นออก
การสกัด feature: แปลงข้อความให้เป็นตัวเลข

NLP workflow

ขั้นตอนที่สี่ของ workflow: การสร้างโมเดล

ข้อความดิบ: ตั้งแต่ทวีตจนถึงย่อหน้าในหนังสือ
การประมวลผลเบื้องต้น: ทำความสะอาดข้อความและลบส่วนที่ไม่จำเป็นออก
การสกัด feature: แปลงข้อความให้เป็นตัวเลข
โมเดล: วิเคราะห์ พยากรณ์ จำแนก และสร้างเนื้อหาใหม่

แผนการเรียน

แผนภาพ workflow แบบเต็ม ระบุว่าบทที่ 1 จะครอบคลุมการประมวลผลเบื้องต้นด้วย NLTK

แผนการเรียน

แผนภาพ workflow แบบเต็ม ระบุว่าบทที่ 2 จะครอบคลุมการสกัด feature ด้วย scikit-learn และ Gensim

แผนการเรียน

แผนภาพ workflow แบบเต็ม ระบุว่าบทที่ 3 และ 4 จะครอบคลุม pipeline ที่รวมขั้นตอนการประมวลผลเบื้องต้น การสกัด feature และการสร้างโมเดลด้วยไลบรารี transformers

Tokenization

แบ่งข้อความออกเป็น token (หน่วยย่อยที่จัดการได้ง่าย)

ภาพแสดงคนกำลังสับแครอท

Sentence tokenization

ข้อความ → ประโยค
ให้ข้อมูลเชิงลึกที่ชัดเจนกว่าการวิเคราะห์ข้อความทั้งหมดพร้อมกัน

import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

ภาพแสดงไอคอนแทนการแปล

Word tokenization

ข้อความ → คำและเครื่องหมายวรรคตอน
มีประโยชน์สำหรับงานที่ต้องการ:
- ระบุคำสำคัญ
- นับความถี่ของคำ

text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

ภาพแสดงไอคอนอีเมลสแปม

มาฝึกกันเถอะ!

การประมวลผลภาษาธรรมชาติ (NLP) ด้วย Python