ภาพรวมของ LLMOps

แนวคิด LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

สิ่งที่จะได้เรียนในคอร์สนี้

LLMOps ช่วยให้จัดการ ปรับใช้ และดูแลรักษาแอปพลิเคชัน large language model ได้อย่างมีประสิทธิภาพ
เนื้อหาที่จะครอบคลุม:
- พื้นฐาน
- วงจรชีวิตของแอปพลิเคชัน LLM
- ความท้าทายและข้อควรพิจารณา

¹ ภาพประกอบโดย Manfred Steger @ Pixabay

pipeline แบบง่ายที่แสดงคำถามเข้าสู่ LLM และสร้างผลลัพธ์

สิ่งเหล่านี้รวมกันเรียกว่า LLM applications ตลอดคอร์สนี้

ภาพของ LLM pipeline แบบซับซ้อน

การผสานรวมที่ราบรื่น

การเปลี่ยนผ่านวงจรชีวิตที่ราบรื่น

การจัดการที่มีประสิทธิภาพและปรับขนาดได้

ความแตกต่างบางประการ:

	LLMOps	MLOps
ขนาดโมเดล	ใหญ่	มักเล็กกว่า
ข้อมูล	ข้อความ	ข้อมูลทุกประเภท
โมเดลที่ผ่านการ pre-train	มักใช่	มักไม่ใช่
การปรับปรุงโมเดล	Prompt engineering & fine-tuning	Feature engineering & การเลือกโมเดล
ความทั่วไป	ใช้งานได้หลากหลาย	ขอบเขตคงที่
ความคาดเดาไม่ได้	สูง	ต่ำ
ผลลัพธ์	ส่วนใหญ่เป็นข้อความ	เฉพาะงาน

แนวคิด LLMOps