Testing

LLMOps Concepts

Max Knobbout, PhD

Applied Scientist, Uber

LLM लाइफसायकल: Testing

LLM एप्लिकेशन लाइफसायकल के चरणों का ओवरव्यू

LLMOps Concepts

हमें टेस्ट क्यों करना चाहिए?

 

दो कार्टून किरदार, एक थम्स-अप और एक थम्स-डाउन पकड़े हुए

 

 

  • LLMs गलतियाँ करते हैं
  • डिप्लॉयमेंट से पहले तैयारी आँकने के लिए Testing जरूरी है
  • हम output का आकलन करेंगे
LLMOps Concepts

पारंपरिक ML बनाम LLM एप्लिकेशन टेस्टिंग

पारंपरिक सुपरवाइज्ड मशीन लर्निंग:

  • लेबल्ड train और test डेटा चाहिए
  • एक्यूरेसी या target से निकटता पर फोकस करने वाले मेट्रिक्स

पारंपरिक ML के लिए train और test सेट की तस्वीर

LLM एप्लिकेशन:

  • test डेटा चाहिए, जरूरी नहीं कि लेबल्ड हो
  • अलग-अलग मेट्रिक्स से output की quality मापें

LLM एप्लिकेशंस के लिए train और test सेट की तस्वीर

LLMOps Concepts

चरण 1: Test सेट बनाना

 

डेटा इकट्ठा करते कार्टून किरदारों की खेलभरी छवि

 

 

  • अब test सेट बनाना पूरा होना चाहिए
  • test डेटा वास्तविक स्थितियों जैसा होना चाहिए
  • कई टूल इसमें मदद कर सकते हैं
LLMOps Concepts

चरण 2: मेट्रिक चुनना

यदि सही उत्तर मौजूद है...

  • ... machine learning मेट्रिक्स का उपयोग करें. उदाहरण:
    • Accuracy

"Use ML metrics" की ओर इशारा करता फ्लोचार्ट

LLMOps Concepts

चरण 2: मेट्रिक चुनना

यदि reference उत्तर है...

  • ... सांख्यिकीय तरीकों का उपयोग करें.
  • ... मॉडल-आधारित तरीके अपनाएँ. उदाहरण:
    • LLM judges

"Use text comparison metrics" की ओर इशारा करता फ्लोचार्ट

LLMOps Concepts

चरण 2: मेट्रिक चुनना

यदि मानव फीडबैक उपलब्ध है...

  • ... इंसानों से टेक्स्ट को रेट कराएँ. उदाहरण:
    • quality रेट करें
    • relevance रेट करें
    • coherence रेट करें
  • ... मॉडल-आधारित तरीका अपनाएँ. उदाहरण:
    • पिछले फीडबैक पर आधारित रेटिंग प्रेडिक्ट करें
    • LLM judge से पूछें कि फीडबैक शामिल हुआ या नहीं

"Use feedback score metrics" की ओर इशारा करता फ्लोचार्ट

LLMOps Concepts

चरण 2: मेट्रिक चुनना

यदि मानव फीडबैक नहीं है...

  • ... अनसुपरवाइज्ड मेट्रिक्स का उपयोग करें. उदाहरण:
    • Coherence
    • Fluency
    • Diversity

"Use unsupervised metrics" की ओर इशारा करता फ्लोचार्ट

LLMOps Concepts

चरण 3: वैकल्पिक सेकेंडरी मेट्रिक्स तय करें

 

 

Output विशेषताएँ:

  • 🎭 Bias
  • ☠ Toxicity
  • 🤝 Helpfulness

 

 

ऑपरेशनल विशेषताएँ:

  • ⏱ Latency
  • 💰 कुल लागत
  • 💻 मेमोरी उपयोग
LLMOps Concepts

डेवलपमेंट साइकिल

डेवलपमेंट साइकिल जिसमें fine-tuning गतिविधि जोड़ी गई है

LLMOps Concepts

डेवलपमेंट साइकिल

डेवलपमेंट साइकिल जिसमें testing गतिविधि जोड़ी गई है

LLMOps Concepts

डेवलपमेंट साइकिल

डेवलपमेंट साइकिल जिसमें testing गतिविधि जोड़ी गई है

LLMOps Concepts

डेवलपमेंट साइकिल

डेवलपमेंट साइकिल जिसमें deploying गतिविधि जोड़ी गई है

LLMOps Concepts

अभ्यास करते हैं!

LLMOps Concepts

Preparing Video For Download...