การ Deploy

แนวคิด LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

วงจรชีวิต LLM: การ Deploy

ภาพรวมของแต่ละเฟสในวงจรชีวิตแอปพลิเคชัน LLM

แนวคิด LLMOps

เข้าสู่ขั้นตอนการ Deploy

 

 

ภาพการ์ตูนตัวละครลากกล่อง

 

 

  • ไม่มีสูตรสำเร็จตายตัว!
  • แอปพลิเคชันอาจประกอบด้วย chain/agent logic, vector database, LLM และอื่นๆ
  • แต่ละองค์ประกอบต้องถูก deploy และทำงานร่วมกันได้
แนวคิด LLMOps

ขั้นที่ 1: เลือกรูปแบบการโฮสต์

  • โฮสต์บน private/public cloud หรือ on-premise
  • ผู้ให้บริการ cloud หลายรายมีโซลูชันสำหรับการโฮสต์และ deploy LLM

การโฮสต์

แนวคิด LLMOps

ขั้นที่ 2: การออกแบบ API

  • API ช่วยให้ซอฟต์แวร์ต่างๆ สื่อสารกันได้
  • การออกแบบส่งผลต่อ scalability ต้นทุน และความต้องการโครงสร้างพื้นฐาน
  • ความปลอดภัยสำคัญมาก ควบคุมด้วย API key!

การออกแบบ API

แนวคิด LLMOps

ขั้นที่ 3: วิธีการรัน

  • ตัวเลือก:

    1. Containers
    2. Serverless functions
    3. Cloud managed services

  • มีข้อดี/ข้อเสียด้านต้นทุน scalability ประสิทธิภาพ และความยืดหยุ่น

โลโก้ Docker

สถาปัตยกรรมการรันงาน

แนวคิด LLMOps

CI/CD

Continuous Integration (CI):

  1. Source: ดึงซอร์สโค้ด
  2. Build: สร้าง container image ที่บรรจุโค้ด
  3. Test: ทดสอบแบบ integration
  4. Register: จัดเก็บ container ไว้ใน registry

Continuous Deployment (CD):

  1. Retrieve: ดึง container จาก registry
  2. Test: ทดสอบการ deploy
  3. Deploy: Deploy container ไปยังสภาพแวดล้อมต่างๆ:
    • Staging
    • Production
แนวคิด LLMOps

การ Scaling

 

ภาพการ์ตูนตัวละครกำลังสร้างหุ่นยนต์ขนาดใหญ่

 

  • LLM อาจต้องใช้ฮาร์ดแวร์ GPU เฉพาะทาง

  • กลยุทธ์การ Scaling:

    1. Horizontal: เพิ่มจำนวนเครื่อง
    2. Vertical: เพิ่มประสิทธิภาพเครื่องเดิม

  • Horizontal รองรับทราฟฟิก ส่วน Vertical เพิ่มความเสถียรและความเร็ว

แนวคิด LLMOps

มาฝึกกันเถอะ!

แนวคิด LLMOps

Preparing Video For Download...