MLOps डिप्लॉयमेंट रणनीतियों में ऑटोमेशन

फ़ुली ऑटोमेटेड MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

मॉडल डिप्लॉयमेंट - प्रेडिक्शन सर्विस

MLOps रेफरेंस आर्किटेक्चर की छवि जिसमें हाइलाइटेड तत्व: प्रेडिक्शन सर्विस.

प्रेडिक्शन सर्विसेज - मोड्स रिकैप

प्रेडिक्शन्स सर्व किए जा सकते हैं:

बैच

स्ट्रीम्स

रियल-टाइम

ऑन-द-एज

प्रेडिक्शन सर्विस - बैच सर्विंग

प्रेडिक्शन्स की बड़ी संख्या

पीरियोडिक शेड्यूल्स

इवेंट-ट्रिगर्ड

बैच प्रोसेसिंग दर्शाने वाला चित्र. सारा इनपुट बैच प्रोसेसिंग इंजन को जाता है. पूरा इनपुट प्रोसेस होने के बाद सारा आउटपुट एक साथ मिलता है.

प्रेडिक्शन सर्विस - स्ट्रीमिंग सर्विंग

लगातार आने वाला डेटा

लगातार डिलीवर होती प्रेडिक्शन्स

स्ट्रीम प्रोसेसिंग दर्शाने वाला चित्र. तत्व लगातार स्ट्रीम प्रोसेसिंग इंजन को मिलते हैं. प्रोसेसिंग के बाद आउटपुट लगातार आउटपुट स्ट्रीम में जाता है.

प्रेडिक्शन सर्विस - रियल टाइम

सिंगल रिकॉर्ड

इंस्टेंट प्रेडिक्शन्स

प्रेडिक्शन सर्विस - ऑन द एज

मोबाइल डिवाइसेज़

IoT डिवाइसेज़

घटित लेटेंसी

मोबाइल पैड डिवाइस पर चल रहे एक IoT ऐप्लिकेशन की छवि.

डिप्लॉयमेंट रणनीतियाँ

ML सर्विंग टाइप्स तय करते हैं कि हमें अपनी प्रेडिक्शन सर्विसेज कैसे डिप्लॉय और अपडेट करनी चाहिए

मॉडल डिप्लॉयमेंट रणनीतियाँ शामिल हैं:

शैडो डिप्लॉयमेंट
कैनरी डिप्लॉयमेंट
A/B टेस्टिंग
ब्लू/ग्रीन

A/B टेस्टिंग

डिप्लॉय की गई प्रेडिक्शन सर्विस में A/B टेस्टिंग का चित्र. प्रेडिक्शन रिक्वेस्ट्स लोड बैलेंसर को जाती हैं. लोड बैलेंसर रिक्वेस्ट्स को मॉडल A और B में बाँटता है. मॉडलों के परफॉर्मेंस की लगातार मॉनिटरिंग होती है.

A/B टेस्टिंग

A/B टेस्टिंग डिप्लॉयमेंट का चित्र. पर्याप्त समय तक मॉनिटरिंग के बाद, मॉडल B बेहतर पाया गया. सिस्टम सभी रिक्वेस्ट्स को इस सर्वश्रेष्ठ मॉडल पर शिफ्ट कर देता है.

शैडो डिप्लॉयमेंट

शैडो डिप्लॉयमेंट का चित्र. प्रेडिक्शन रिक्वेस्ट्स लोड बैलेंसर को जाती हैं. लोड बैलेंसर इन्हें लाइव और शैडो दोनों मॉडलों को देता है. केवल लाइव मॉडल प्रेडिक्शन्स लौटाता है. दोनों मॉडलों का परफॉर्मेंस लगातार मॉनिटर होता है.

ब्लू/ग्रीन डिप्लॉयमेंट

ब्लू/ग्रीन डिप्लॉयमेंट का चित्र. ब्लू एनवायरनमेंट में प्रोडक्शन में एक मॉडल लाइव है.

ब्लू/ग्रीन डिप्लॉयमेंट

एक अपडेटेड मॉडल ब्लू एनवायरनमेंट की रेप्लिका में डिप्लॉय किया गया है. यह रेप्लिका ग्रीन एनवायरनमेंट है. ट्रैफिक स्विच मॉड्यूल ऑटोमैटिकली रिक्वेस्ट्स को ब्लू से ग्रीन की ओर रीडायरेक्ट करना शुरू करता है.

ब्लू/ग्रीन डिप्लॉयमेंट

ब्लू/ग्रीन डिप्लॉयमेंट का चित्र. सारा ट्रैफिक धीरे-धीरे और ऑटोमैटिकली ब्लू से ग्रीन एनवायरनमेंट में स्विच हो जाता है.

ब्लू/ग्रीन डिप्लॉयमेंट

सारा ट्रैफिक स्विच होने के बाद ब्लू एनवायरनमेंट हटाया जा सकता है. अपडेटेड मॉडल वाला ग्रीन एनवायरनमेंट नया प्रोडक्शन बन जाता है.

प्रेडिक्शन सर्विसेज को डिप्लॉय व अपडेट करना

मॉडल टाइप डिप्लॉयमेंट रणनीति तय करता है

डिप्लॉयमेंट रणनीतियों और उनकी 4 आयामों में विशेषताओं वाली तालिका: नो डाउनटाइम, कंडीशन-बेस्ड, रोलबैक टाइम, और अतिरिक्त लागत.

अभ्यास करते हैं!

फ़ुली ऑटोमेटेड MLOps