ขั้นตอนการระดมความคิด

แนวคิด LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

วงจรชีวิต LLM: ขั้นตอนการระดมความคิด

ภาพรวมของขั้นตอนต่างๆ ในวงจรชีวิตของแอปพลิเคชัน LLM

แนวคิด LLMOps

การจัดหาข้อมูล

 

ภาพการ์ตูนที่กำลังถือแหล่งข้อมูลต่างๆ

 

  • ระบุความต้องการ

 

  • ค้นหาแหล่งข้อมูล

 

  • ตรวจสอบการเข้าถึง
แนวคิด LLMOps

การจัดหาข้อมูล

 

ภาพการ์ตูนที่กำลังถือแหล่งข้อมูลต่างๆ

  1. ข้อมูลเกี่ยวข้องหรือไม่?
  2. ข้อมูลพร้อมใช้งานหรือไม่?
    • แปลงข้อมูล
    • จัดตั้งฐานข้อมูลเพิ่มเติม
    • ประเมินค่าใช้จ่าย
    • พิจารณาข้อจำกัดการเข้าถึงอื่นๆ
  3. ข้อมูลผ่านมาตรฐานหรือไม่?
    • เกี่ยวกับคุณภาพและธรรมาภิบาลข้อมูล
แนวคิด LLMOps

การเลือกโมเดลพื้นฐาน

  • โมเดลที่ผ่านการ pre-train มาแล้ว:

ภาพของโมเดลที่ผ่านการ pre-train

  • Proprietary หรือ open-source?
แนวคิด LLMOps

โมเดล Proprietary (เป็นเจ้าของโดยเอกชน)

ข้อดี:

  • ติดตั้งและใช้งานง่าย
  • ประกันคุณภาพ
  • ความน่าเชื่อถือ ความเร็ว และความพร้อมใช้งาน

 

ข้อจำกัด:

  • ต้องเปิดเผยข้อมูล
  • การปรับแต่ง

ตัวอย่าง:

โลโก้ของโมเดล LLM แบบ proprietary

แนวคิด LLMOps

Open-source (เข้าถึงได้สาธารณะ)

ข้อดี:

  • โฮสต์ภายในองค์กรได้
  • ความโปร่งใส
  • ปรับแต่งได้อย่างเต็มที่

 

ข้อจำกัด:

  • การสนับสนุน
  • การใช้งานเชิงพาณิชย์

 

ตัวอย่าง: โลโก้ Meta Llama 3

 

ดาวน์โหลดได้จาก: โลโก้ Hugging Face

แนวคิด LLMOps

ปัจจัยในการเลือกโมเดล

1. ประสิทธิภาพ ⭐

  • คุณภาพของการตอบสนอง
  • ความเร็ว

ไอคอนที่เกี่ยวข้องกับประสิทธิภาพ

2. คุณลักษณะของโมเดล ⭐

  • ข้อมูลที่ใช้ฝึกโมเดล
  • ขนาด context window
  • ความสามารถในการ fine-tune

ไอคอนที่เกี่ยวข้องกับคุณลักษณะของโมเดล

แนวคิด LLMOps

ปัจจัยในการเลือกโมเดล

3. ข้อควรพิจารณาเชิงปฏิบัติ ⭐

  • ใบอนุญาต
  • ค่าใช้จ่าย
  • ผลกระทบต่อสิ่งแวดล้อม

ไอคอนที่เกี่ยวข้องกับข้อควรพิจารณาเชิงปฏิบัติ

4. ปัจจัยรอง

  • จำนวนพารามิเตอร์
  • ความนิยม

ไอคอนที่เกี่ยวข้องกับปัจจัยรอง

แนวคิด LLMOps

มาฝึกกันเถอะ!

แนวคิด LLMOps

Preparing Video For Download...