डिप्लॉयमेंट

LLMOps Concepts

Max Knobbout, PhD

Applied Scientist, Uber

LLM लाइफसाइकल: डिप्लॉयमेंट

LLM एप्लिकेशन लाइफसाइकल के चरणों का अवलोकन

LLMOps Concepts

डिप्लॉयमेंट की ओर बढ़ते हुए

 

 

कार्टून किरदारों द्वारा बॉक्स खींचने की चंचल छवि

 

 

  • एक ही तरीका सब पर फिट नहीं होता!
  • एक ऐप में chain/agent logic, vector database, LLM आदि हो सकते हैं
  • हर कंपोनेंट को डिप्लॉय करना होगा और उन्हें मिलकर काम करना होगा
LLMOps Concepts

चरण 1: होस्टिंग का चुनाव

  • प्राइवेट/पब्लिक क्लाउड या ऑन-प्रिमाइसेस होस्टिंग
  • कई क्लाउड प्रोवाइडर LLM होस्टिंग और डिप्लॉयमेंट समाधान देते हैं

Hosting

LLMOps Concepts

चरण 2: API डिजाइन

  • APIs अलग-अलग सॉफ्टवेयर को आपस में बात करने देती हैं
  • डिजाइन स्केलेबिलिटी, लागत और इंफ्रास्ट्रक्चर जरूरतों को प्रभावित करता है
  • सुरक्षा अहम है, API keys से नियंत्रित करें!

API डिजाइन

LLMOps Concepts

चरण 3: कैसे चलाएँ

  • विकल्प:

    1. कंटेनर्स
    2. सर्वरलेस फंक्शंस
    3. क्लाउड मैनेज्ड सर्विसेज

  • फायदे/नुकसान: लागत, स्केलेबिलिटी, दक्षता और लचीलापन

Docker लोगो

Execution architecture

LLMOps Concepts

CI/CD

Continuous Integration (CI):

  1. Source: सोर्स कोड प्राप्त करें
  2. Build: कोड सहित कंटेनर इमेज बनाएँ
  3. Test: इंटीग्रेशन टेस्ट चलाएँ
  4. Register: कंटेनर को रजिस्ट्री में स्टोर करें

Continuous Deployment (CD):

  1. Retrieve: रजिस्ट्री से कंटेनर लें
  2. Test: डिप्लॉयमेंट टेस्ट चलाएँ
  3. Deploy: कंटेनर को इन एनवायरनमेंट्स में डिप्लॉय करें:
    • Staging
    • Production
LLMOps Concepts

स्केलिंग

 

कार्टून किरदारों द्वारा बड़े रोबोट का निर्माण करती चंचल छवि

 

  • LLMs को विशेष GPU हार्डवेयर की जरूरत हो सकती है।

  • स्केलिंग रणनीतियाँ:

    1. हॉरिजॉन्टल: और मशीनें जोड़ें
    2. वर्टिकल: एक मशीन को बूस्ट करें

  • ट्रैफिक के लिए हॉरिजॉन्टल, विश्वसनीयता और स्पीड के लिए वर्टिकल

LLMOps Concepts

अभ्यास करते हैं!

LLMOps Concepts

Preparing Video For Download...