ภาพรวมของ NLP

แนวคิดของ Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

ตอนนี้อยู่ขั้นตอนไหน?

แผนภูมิแสดงขั้นตอนแรก คือ การเตรียมข้อความ

แนวคิดของ Large Language Models (LLMs)

การเตรียมข้อความ

  • สามารถทำในลำดับต่างกันได้ เนื่องจากแต่ละขั้นตอนเป็นอิสระจากกัน

สามขั้นตอนที่พบบ่อยที่สุดในการเตรียมข้อความ

แนวคิดของ Large Language Models (LLMs)

Tokenization

  • แบ่งข้อความออกเป็นคำหรือ โทเคน แต่ละตัว

 

  • ข้อความ:

    • "Working with natural language processing techniques is tricky."

     

  • Tokenization:

    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "tricky", "."]
    • แปลงเป็นรายการ
แนวคิดของ Large Language Models (LLMs)

การลบ Stop Word

  • Stop word ไม่ได้เพิ่มความหมายให้กับข้อความ
  • ตัดออกด้วยการลบ stop word

 

  • ก่อน ลบ stop word:
    • ["Working", "with", "natural", "language", "processing", "techniques", "is", "challenging", "."]

 

  • หลัง ลบ stop word:
    • ["Working", "natural", "language", "processing", "techniques", "challenging", "."]
แนวคิดของ Large Language Models (LLMs)

Lemmatization

 

  • จัดกลุ่มคำที่ต่างกันเล็กน้อยแต่มีความหมายใกล้เคียงกัน

 

  • ลดรูปคำให้เหลือรูปพื้นฐาน

 

  • แมปไปยังคำรากศัพท์

 

  • Talking -> Talk

  • Talked -> Talk

  • Talk -> Talk

แนวคิดของ Large Language Models (LLMs)

การแทนค่าข้อความ

แผนภูมิแสดงว่าถึงขั้นตอนการแทนค่าข้อความแล้ว

แนวคิดของ Large Language Models (LLMs)

การแทนค่าข้อความ

 

  • แปลงข้อมูลข้อความเป็นรูปแบบตัวเลข

 

  • Bag-of-words
  • Word embeddings

ภาพแสดงคำพูดในรูปแบบตัวเลข

แนวคิดของ Large Language Models (LLMs)

Bag-of-words

 

  • แปลงข้อความเป็นเมทริกซ์ของจำนวนคำ

เมทริกซ์แสดงการแทนค่าแบบ bag-of-words

  • 0 หมายถึงคำนั้นไม่ปรากฏในข้อความ
แนวคิดของ Large Language Models (LLMs)

ข้อจำกัดของ Bag-of-words

  • ไม่สามารถจับลำดับหรือบริบทของคำได้

    • อาจนำไปสู่การตีความที่ผิดพลาด
    • ประโยคคล้ายกันแต่มีความหมายตรงข้าม
      • "The cat chased the mouse swiftly."
      • "The mouse chased the cat."

  • ไม่สามารถจับความสัมพันธ์เชิงความหมายระหว่างคำได้

    • ถือว่าคำที่เกี่ยวข้องกันเป็นอิสระจากกัน
    • เช่น "cat" และ "mouse"
แนวคิดของ Large Language Models (LLMs)

Word Embeddings

  • แทนค่าความหมายเชิงอรรถศาสตร์ด้วยตัวเลข

 

Cat Mouse
Plant -0.9 -0.8
Furry 0.9 0.7
Carnivore 0.9 -0.8

 

  • Cat [-0.9, 0.9, 0.9]
  • ความสัมพันธ์ระหว่างนักล่าและเหยื่อ:

Word embeddings แสดงความสัมพันธ์ระหว่างนักล่าและเหยื่อ

แนวคิดของ Large Language Models (LLMs)

รูปแบบที่เครื่องอ่านได้

 

  • เริ่มต้นด้วยการเตรียมข้อความ

ขั้นตอนการเตรียมข้อมูล

แนวคิดของ Large Language Models (LLMs)

รูปแบบที่เครื่องอ่านได้

 

  • แปลงข้อความที่เตรียมแล้วให้เป็นรูปแบบตัวเลข

ขั้นตอนการเตรียมข้อมูลพร้อมขั้นตอนการแทนค่าข้อความ

แนวคิดของ Large Language Models (LLMs)

มาฝึกกันเถอะ!

แนวคิดของ Large Language Models (LLMs)

Preparing Video For Download...