सर्विंग मोड्स

MLOps डिप्लॉयमेंट और लाइफ साइक्लिंग

Nemanja Radojkovic

Senior Machine Learning Engineer

सर्विंग और सर्विंग मोड

• प्रेडिक्शन सेवा देना == मॉडल सर्विंग
• सर्विंग के किसी विशेष प्रकार का इम्प्लीमेंटेशन == सर्विंग मोड

 

ध्यान से चुनें!

बैच प्रेडिक्शन: सरल रखें

• बैच प्रेडिक्शन सबसे सरल है
• यदि उपयोग मामला अनुमति दे, तो इसे चुनें
• अच्छा फिट: मासिक बिक्री पूर्वानुमान जनरेशन

स्वीकार्य लेटेंसी

क्या स्वीकार्य है?

• < 1 hour?
• < 1 minute?
• < 1 second?
• < 1 millisecond?

नियर-रियल टाइम प्रेडिक्शन, उर्फ़ स्ट्रीम प्रोसेसिंग

स्वीकार्य लेटेंसी ~= X minutes

इसे stream processing भी कहते हैं (रिक्वेस्ट और रिस्पॉन्स "data streams" बनाते हैं)

रियल-टाइम प्रेडिक्शन

स्वीकार्य लेटेंसी < 1 sec

उदाहरण:

• क्रेडिट कार्ड फ्रॉड डिटेक्शन
• देर से प्रेडिक्शन लगभग बेकार

जब लेटेंसी प्राथमिकता हो

• थोड़ा कमज़ोर, पर तेज़ मॉडल, धीमे पर मज़बूत मॉडल से अधिक मूल्यवान
• लेटेंसी घटाने के लिए मॉडल एंड-यूज़र डिवाइसेज़ पर डिप्लॉय => "edge deployment"
  • ML-इन्फ्यूज़्ड स्मार्टफोन ऐप्स:
    • नेविगेशन ऐप्स
    • फेसियल रिकग्निशन से अनलॉक करना
    • इमेज फ़िल्टर्स

अभ्यास करते हैं!

MLOps डिप्लॉयमेंट और लाइफ साइक्लिंग