การมอนิเตอร์และ Observability

แนวคิด LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

วงจรชีวิต LLM: การมอนิเตอร์และ Observability

ภาพรวมของแต่ละเฟสในวงจรชีวิตแอปพลิเคชัน LLM

แนวคิด LLMOps

การมอนิเตอร์และ Observability

 

ภาพการ์ตูนน่ารักกำลังสังเกตสิ่งของ

 

  • Monitoring คือการเฝ้าดูระบบอย่างต่อเนื่อง
  • Observability คือการเปิดเผยสถานะภายในสู่ผู้สังเกตภายนอก
  • แหล่งข้อมูลสำหรับ Observability:
    1. Logs
    2. Metrics
    3. Traces
แนวคิด LLMOps

การมอนิเตอร์อินพุต

  • มอนิเตอร์ข้อมูลอินพุตในด้าน:
    • การเปลี่ยนแปลง
    • ข้อผิดพลาด
    • เนื้อหาอันตราย
  • Data drift คือการเปลี่ยนแปลงของการกระจายข้อมูลอินพุตเมื่อเวลาผ่านไป
  • การรับมือกับ Data drift ต้องอาศัย:
    • การมอนิเตอร์การกระจายข้อมูล
    • การอัปเดตโมเดลเป็นระยะ

การมอนิเตอร์อินพุต

แนวคิด LLMOps

การมอนิเตอร์เชิงฟังก์ชัน

  • ตัวอย่าง:

    • เวลาตอบสนอง
    • ปริมาณ Request
    • ช่วงหยุดทำงาน
    • อัตราข้อผิดพลาด

  • สำหรับแอปพลิเคชัน LLM:

    • การทำงานของ Chain และ Agent
    • ทรัพยากรระบบ (GPU)
    • ค่าใช้จ่าย

การมอนิเตอร์เชิงฟังก์ชัน

แนวคิด LLMOps

การมอนิเตอร์เอาต์พุต

  • ใช้เมตริกที่กำหนดไว้ตอนทดสอบ เช่น:
    • Bias
    • Toxicity
    • ความเป็นประโยชน์
  • Model drift:
    • ความสัมพันธ์ระหว่างอินพุตและเอาต์พุตเปลี่ยนแปลงไป
  • Censoring คือการแทรกแซงเชิงรุก

การมอนิเตอร์เอาต์พุต

แนวคิด LLMOps

การจัดการกับการแจ้งเตือน

 

 

ภาพการ์ตูนน่ารักกำลังแก้ไขการแจ้งเตือน

 

 

  • รับการแจ้งเตือนเมื่อเกิดปัญหา
  • มีขั้นตอนการรับมือที่ชัดเจน
  • อาจมีข้อตกลงระดับบริการ (SLA) กำหนดไว้
แนวคิด LLMOps

มาฝึกกันเถอะ!

แนวคิด LLMOps

Preparing Video For Download...