Monitoring और observability

LLMOps Concepts

Max Knobbout, PhD

Applied Scientist, Uber

LLM लाइफसाइकल: Monitoring और observability

LLM एप्लिकेशन लाइफसाइकल चरणों का अवलोकन

LLMOps Concepts

Monitoring और observability

 

कुछ वस्तुओं को देखते एक कार्टून की खिलवाड़ी छवि

 

  • Monitoring सिस्टम को लगातार ट्रैक करता है।
  • Observability आंतरिक स्थिति बाहरी ऑब्ज़र्वर्स को दिखाती है।
  • Observability के डेटा स्रोत:
    1. Logs
    2. Metrics
    3. Traces
LLMOps Concepts

इनपुट मॉनिटरिंग

  • इनपुट्स मॉनिटर करें ताकि:
    • बदलाव पकड़े जाएँ
    • एरर दिखें
    • दुर्भावनापूर्ण कंटेंट धरे जाएँ
  • डेटा ड्रिफ्ट समय के साथ इनपुट डेटा डिस्ट्रीब्यूशन में बदलाव है
  • इसे संभालने के लिए चाहिए:
    • डेटा डिस्ट्रीब्यूशन मॉनिटरिंग
    • मॉडल को समय-समय पर अपडेट करना

इनपुट मॉनिटरिंग

LLMOps Concepts

फंक्शनल मॉनिटरिंग

  • उदाहरण:

    • रिस्पॉन्स टाइम
    • रिक्वेस्ट वॉल्यूम
    • डाउनटाइम
    • एरर रेट्स

  • LLM एप्लिकेशनों के लिए:

    • चेन और एजेंट एक्ज़ीक्यूशन
    • सिस्टम रिसोर्सेज (GPU)
    • कॉस्ट्स

फंक्शनल मॉनिटरिंग

LLMOps Concepts

आउटपुट मॉनिटरिंग

  • टेस्टिंग के दौरान परिभाषित मेट्रिक्स इस्तेमाल करें, जैसे:
    • बायस
    • टॉक्सिसिटी
    • हेल्पफुलनेस
  • मॉडल ड्रिफ्ट:
    • इनपुट–आउटपुट के संबंध में बदलाव
  • सेंसरिंग में सक्रिय दखल शामिल है

आउटपुट मॉनिटरिंग

LLMOps Concepts

अलर्ट हैंडलिंग

 

 

अलर्ट ठीक करता एक कार्टून, खिलवाड़ी छवि

 

 

  • समस्या आने पर नोटिफिकेशन पाएँ
  • स्पष्ट प्रक्रियाएँ रखें
  • Service-Level Agreements (SLAs) लागू हो सकते हैं
LLMOps Concepts

अभ्यास करते हैं!

LLMOps Concepts

Preparing Video For Download...