แนะนำ Transformer

แนวคิดของ Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

ตอนนี้เราอยู่ที่ไหน?

แผนภูมิแสดงความคืบหน้าในการเรียนรู้ Transformer

แนวคิดของ Large Language Models (LLMs)

Transformer คืออะไร?

  • "Attention Is All You Need"
    • เปลี่ยนโฉมการสร้างโมเดลภาษา

 

  • สถาปัตยกรรม Transformer
    • ความสัมพันธ์ระหว่างคำ
    • องค์ประกอบ: การประมวลผลล่วงหน้า, Positional Encoding, Encoders และ Decoders

ตัวอย่างบทความ "Attention is all you need"

1 arXiv: Attention Is All You Need
แนวคิดของ Large Language Models (LLMs)

ภายใน Transformer

 

  • Input: Jane, who lives in New York and works as a software

 

องค์ประกอบภายในและการไหลของข้อมูลใน Transformer

 

  • Output: engineer, loves exploring new restaurants in the city.
แนวคิดของ Large Language Models (LLMs)

Transformer เปรียบเหมือนวงออเคสตรา

ภาพวงออเคสตรา

แนวคิดของ Large Language Models (LLMs)

การประมวลผลและการแทนค่าข้อความ

  • การประมวลผลข้อความ: การแบ่งโทเคน, การลบ stop word, การทำ lemmatization
  • การแทนค่าข้อความ: word embedding

ภาพไฮไลต์องค์ประกอบแรกของ Transformer และโน้ตดนตรีแต่ละตัว

แนวคิดของ Large Language Models (LLMs)

Positional Encoding

  • ข้อมูลตำแหน่งของแต่ละคำ
  • เข้าใจความสัมพันธ์ของคำที่อยู่ห่างกัน

ไฮไลต์องค์ประกอบที่สองของ Transformer และโน้ตเพลง

แนวคิดของ Large Language Models (LLMs)

Encoders

  • กลไก Attention: กำหนดจุดสนใจไปยังคำและความสัมพันธ์ที่ต้องการ
  • โครงข่ายประสาทเทียม: ประมวลผลคุณลักษณะเฉพาะ

Encoder ในกระบวนการทำงานของ Transformer

แนวคิดของ Large Language Models (LLMs)

Decoders

  • ประกอบด้วย Attention และโครงข่ายประสาทเทียม
  • สร้างผลลัพธ์

ส่วนประกอบ Decoder ของ Transformer

แนวคิดของ Large Language Models (LLMs)

Transformer กับการพึ่งพาระยะไกล

 

  • ความท้าทายเดิม: การพึ่งพาระยะไกล
  • Attention: โฟกัสส่วนต่าง ๆ ของ input

 

  • ตัวอย่าง: "Jane, who lives in New York and works as a software engineer, loves exploring new restaurants in the city."

  • "Jane" --- "loves exploring new restaurants"

แนวคิดของ Large Language Models (LLMs)

ประมวลผลหลายส่วนพร้อมกัน

  • ข้อจำกัดของโมเดลภาษาแบบดั้งเดิม:
    • ประมวลผลแบบต่อเนื่อง — ทีละคำ

 

  • Transformers:
    • ประมวลผลหลายส่วนพร้อมกัน
    • ประมวลผลได้เร็วขึ้น

 

  • ตัวอย่าง:
    • "The cat sat on the mat"
    • ประมวลผล "cat," "sat," "on," "the," และ "mat" พร้อมกันทั้งหมด
แนวคิดของ Large Language Models (LLMs)

มาฝึกกันเถอะ!

แนวคิดของ Large Language Models (LLMs)

Preparing Video For Download...