วิวัฒนาการของ Generative AI

แนวคิด Generative AI

Daniel Tedesco

Data Lead, Google

Generative AI โด่งดังในปี 2023

กราฟแสดงจำนวนเดือนที่ผลิตภัณฑ์ซอฟต์แวร์ต่าง ๆ ใช้เพื่อให้ถึง 100 ล้านผู้ใช้ต่อเดือน โดย ChatGPT ทำได้เร็วที่สุดในเวลาเพียง 2 เดือน

1 Yahoo Finance
แนวคิด Generative AI

ปัจจัยสำคัญที่ขับเคลื่อนการพัฒนา

ปัจจัยสำคัญที่ขับเคลื่อนการพัฒนา Generative AI:

  • พลังการประมวลผล
  • ความพร้อมของชุดข้อมูล
  • การแข่งขันทางธุรกิจ
  • การออกแบบโมเดล
แนวคิด Generative AI

พลังการประมวลผลช่วยให้สร้างโมเดลขนาดใหญ่ได้

กราฟแสดงการเติบโตแบบเอกซ์โพเนนเชียลของพลังการประมวลผลที่ใช้ในการเทรนโมเดล AI ตั้งแต่น้อยกว่า 10^4 floating point operations ในปี 1950 จนถึง 10^24 floating point operations ในปี 2022

 

  • การประมวลผลแบบขนานและฮาร์ดแวร์เฉพาะทาง
    • Graphics Processing Units (GPUs)
    • Tensor Processing Units (TPUs)
  • Cloud computing
  • การปรับแต่งฮาร์ดแวร์และซอฟต์แวร์ร่วมกัน
1 Compute Trends Across Three Eras of Machine Learning, https://arxiv.org/abs/2202.05924
แนวคิด Generative AI

ชุดข้อมูลขนาดใหญ่ช่วยพัฒนาโมเดลให้ดีขึ้น

การเติบโตของ Global Datasphere กราฟแสดงการเติบโตอย่างรวดเร็วของ Global Datasphere จาก 20 zettabytes ในปี 2015 เป็น 180 zettabytes ในปี 2025

1 IDC's Global DataSphere, 2021
แนวคิด Generative AI

การแข่งขันกระตุ้นให้การพัฒนาเร็วขึ้น

เชิงพาณิชย์ โลโก้ของบริษัทเทคโนโลยีชั้นนำ

เชิงการเมือง ธงชาติของนานาประเทศ

แนวคิด Generative AI

GAN ปลดล็อกการสร้างเนื้อหาคุณภาพสูง

ภาพแสดงอัลกอริทึม generator ที่ท้าทายอัลกอริทึม discriminator ให้จำแนกภาพสุนัขที่ม้วนตัวและดูคล้ายเบเกิลหลายภาพ

แนวคิด Generative AI

Transformer นำบริบทและความสอดคล้องมาสู่โมเดล

'it' หมายถึง 'animal'

ประโยค "The animal didn't cross the street because it was too tired." โดยเน้นคำว่า 'it' และ 'animal'

'it' หมายถึง 'street'

ประโยค "The animal didn't cross the street because it was too wide." โดยเน้นคำว่า 'it' และ 'street'

1 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
แนวคิด Generative AI

Transformer นำบริบทและความสอดคล้องมาสู่โมเดล

 

Transformer:

  • เข้าใจบริบทของข้อความที่ได้รับ
  • วิเคราะห์ความสัมพันธ์ระหว่างคำ
  • สร้างคำตอบที่เป็นธรรมชาติและให้ข้อมูล
แนวคิด Generative AI

RLHF นำ Feedback จากผู้ใช้มาใช้งาน

Reinforcement Learning with Human Feedback (RLHF):

  • Reinforcement learning เทรนโมเดลผ่านการลองผิดลองถูก
  • Human feedback มาจากผู้ใช้ที่ให้คะแนนการตอบสนองของโมเดล

กระบวนการ Generative AI พร้อมลูปเพิ่มเติม: การตอบสนอง → ความคิดเห็น → โมเดล

แนวคิด Generative AI

RLHF นำ Feedback จากผู้ใช้มาใช้งาน

ภาพหน้าจอ UI ของ Midjourney พร้อมตัวเลือกสำหรับการให้คะแนนผลลัพธ์รูปภาพ

1 Midjourney
แนวคิด Generative AI

มาฝึกกันเถอะ!

แนวคิด Generative AI

Preparing Video For Download...