Tokenization และ Transformers

ChatGPT ระดับกลาง

Alex Banks

Founder & Educator

Tokenization

ภาพประกอบชายคนหนึ่งมองตัวละครแบบ Transformer โดยจินตนาการถึงคำว่า "Tokens"

Tokenization

ภาพประกอบชายที่มีรูปลักษณ์คล้ายตัวละคร Terminator จากภาพยนตร์

การเข้ารหัส (Encoding)

ภาพประกอบชายที่มีรูปลักษณ์คล้ายตัวละคร Terminator จากภาพยนตร์

Vectorization

ภาพประกอบชายที่มีรูปลักษณ์คล้ายตัวละคร Terminator จากภาพยนตร์

การถอดรหัส (Decoding)

ภาพประกอบชายที่มีรูปลักษณ์คล้ายตัวละคร Terminator จากภาพยนตร์

Self-attention

หุ่นยนต์คล้าย Transformer อยู่ข้างตาชั่ง

Self-attention

ภาพประกอบแมวนั่งอยู่บนเสื่อ

ความสัมพันธ์ระหว่าง Token

ภาพหุ่นยนต์สีสันสดใสสองตัวอยู่ในหัวใจสีชมพูขนาดใหญ่ล้อมรอบด้วยหัวใจเล็ก หุ่นยนต์ทางซ้ายมีป้ายว่า "it" และหุ่นยนต์ทางขวามีป้ายว่า "the cat" ทางด้านซ้ายของหัวใจมีข้อความแสดงในแนวตั้งสามรายการ ได้แก่ "the cat" "sat" และ "the cat" ทั้งหมดเป็นสีน้ำเงิน

ความเข้าใจเชิงบริบท

ภาพหุ่นยนต์สีสันสดใสสองตัวนั่งอยู่ใกล้กัน โดยหุ่นยนต์ทางขวาทำท่าทางมือเหมือนกำลังพูด

มาฝึกกันเถอะ!

ChatGPT ระดับกลาง