रेफरेंस आर्किटेक्चर: पूरी तरह स्वचालित MLOps

फ़ुली ऑटोमेटेड MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

रेफरेंस आर्किटेक्चर क्या है?

रेफरेंस आर्किटेक्चर एक टेम्पलेट है जो अलग-अलग IT डोमेन में समाधान डिजाइन करने में काम आता है.

दस्तावेज़ों का एक सेट, जिसमें:

IT घटकों की संरचनाएँ और इंटीग्रेशन
IT सिस्टम्स में आम पैटर्न, जिनमें ML सिस्टम्स भी शामिल
इंडस्ट्री के अनुभव और बेस्ट प्रैक्टिस का लाभ उठाएँ

पूरी तरह स्वचालित MLOps आर्किटेक्चर

पूरी तरह स्वचालित MLOps रेफरेंस आर्किटेक्चर का उच्च-स्तरीय ओवरव्यू दिखाने वाली इमेज.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

रेफरेंस आर्किटेक्चर - ऑर्केस्ट्रेटेड एक्सपेरिमेंट्स

इमेज का ज़ूम एक सेट कनेक्टेड बॉक्सेज़ पर. बाएँ से दाएँ: डेटा विश्लेषण, ऑर्केस्ट्रेटेड एक्सपेरिमेंट, सोर्स कोड, सोर्स कोड रिपॉज़िटरी.

रेफरेंस आर्किटेक्चर - सोर्स कोड और CI

सोर्स कोड रिपॉज़िटरी के बाद कंटिन्युअस इंटीग्रेशन ब्लॉक. इस ब्लॉक में एक बिल्ड बॉक्स है जो पैकेजेस आउटपुट करता है.

रेफरेंस आर्किटेक्चर - आर्टिफैक्ट्स और CD

इमेज नीचे शिफ्ट होकर कंटिन्युअस डिलीवरी बॉक्स दिखाता है.

रेफरेंस आर्किटेक्चर - ML पाइपलाइन डिप्लॉयमेंट

इमेज बाएँ शिफ्ट होकर एक स्वचालित ML पाइपलाइन के स्टेप्स दिखाती है: data extraction, data validation, data preparation, model training, model evaluation, model validation.

रेफरेंस आर्किटेक्चर - मेटाडेटा स्टोर

इमेज नीचे शिफ्ट होकर Metadata Store दिखाती है, जो ML पाइपलाइन से जनरेट हुए लॉग्स कलेक्ट करता है.

रेफरेंस आर्किटेक्चर - मॉडल रजिस्ट्रि

इमेज ऊपर-दाएँ शिफ्ट होकर दिखाती है कि ML पाइपलाइन से प्रशिक्षित मॉडल्स को मॉडल रजिस्ट्रि में पुश किया जाता है.

रेफरेंस आर्किटेक्चर - प्रेडिक्शन सर्विसेज़

इमेज नीचे शिफ्ट होकर दिखाती है कि ML पाइपलाइन से प्रशिक्षित मॉडल्स लगातार आर्किटेक्चर में प्रेडिक्शन सर्विस मॉड्यूल को डिलीवर होते हैं.

रेफरेंस आर्किटेक्चर - कंटिन्युअस मॉनिटरिंग

इमेज बाएँ शिफ्ट होकर परफ़ॉर्मेंस मॉनिटरिंग कंपोनेंट दिखाती है, जो प्रेडिक्शंस के प्रदर्शन को ट्रैक करता है.

रेफरेंस आर्किटेक्चर - ऑटोमेटेड ट्रिगर

इमेज और बाएँ शिफ्ट होकर दिखाती है कि परफ़ॉर्मेंस मॉनिटरिंग मॉड्यूल से एक ट्रिगर कंपोनेंट जुड़ा है.

रेफरेंस आर्किटेक्चर - ऑटोमेटेड रिट्रेनिंग

इमेज ऊपर शिफ्ट होकर दिखाती है कि ट्रिगर सिस्टम में ऑटोमेटेड ML पाइपलाइन को सक्रिय कर सकता है.

रेफरेंस आर्किटेक्चर

इमेज ज़ूम आउट होकर पूरी रेफरेंस आर्किटेक्चर का उच्च-स्तरीय ओवरव्यू दिखाती है.

रेफरेंस आर्किटेक्चर - फीचर स्टोर

पूरी तरह स्वचालित MLOps रेफरेंस आर्किटेक्चर का ओवरव्यू. इमेज फीचर स्टोर कंपोनेंट पर ज़ूम करती है.

रेफरेंस आर्किटेक्चर - फीचर स्टोर

इमेज नीचे शिफ्ट होकर दिखाती है कि फीचर स्टोर स्टेजिंग, प्री-प्रोडक्शन, प्रोडक्शन एन्वायरनमेंट में ऑटोमेटेड ML पाइपलाइन को भी डेटा देता है.

रेफरेंस आर्किटेक्चर - फीचर स्टोर

इमेज फीचर स्टोर कंपोनेंट पर ज़ूम. यह कंपोनेंट एक्सपेरिमेंट और डेवलपमेंट एन्वायरनमेंट में ऑर्केस्ट्रेटेड एक्सपेरिमेंट मॉड्यूल को डेटा देता है.

रेफरेंस आर्किटेक्चर - फीचर स्टोर

इमेज फीचर स्टोर कंपोनेंट पर ज़ूम. यह कंपोनेंट सिस्टम में प्रेडिक्शन सर्विस को डेटा देता है.

पूरी तरह स्वचालित MLOps आर्किटेक्चर

अभ्यास करते हैं!

फ़ुली ऑटोमेटेड MLOps