MLOps में ऑटोमेटेड टेस्टिंग

फ़ुली ऑटोमेटेड MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

सॉफ्टवेयर टेस्टिंग क्या है?

किसी सॉफ्टवेयर प्रोडक्ट या एप्लिकेशन के अपेक्षित रूप से काम करने की जाँच और सत्यापन की प्रक्रिया

सॉफ्टवेयर टेस्टिंग के तीन आम प्रकार:

यूनिट टेस्ट्स
इंटीग्रेशन टेस्ट्स
एंड-टू-एंड टेस्ट्स

एक पिरामिड जिसमें आधार पर यूनिट टेस्टिंग, उसके बाद इंटीग्रेशन टेस्टिंग, और सबसे ऊपर एंड-टू-एंड टेस्ट्स दिखाए गए हैं.

ML सॉफ्टवेयर का स्वभाव अलग होता है

ML एप्लिकेशन स्पष्ट रूप से प्रोग्राम नहीं किए जाते

ML सिस्टम्स में लर्निंग प्रक्रिया दर्शाता चित्र.

ये निर्भर करते हैं:

डेटा
मॉडल्स

MLOps सिस्टम में टेस्टिंग अलग होती है

एक चित्र जिसमें पारंपरिक सॉफ्टवेयर सिस्टम को यूनिट और इंटीग्रेशन टेस्ट्स से टेस्ट किया गया है, और दूसरी ओर ML सिस्टम में डेटा टेस्ट्स, मॉडल टेस्ट्स और पाइपलाइन टेस्ट्स दिखाए गए हैं.

¹ https://research.google/pubs/pub46555/

ML सिस्टम्स की टेस्टिंग

पारंपरिक सॉफ्टवेयर टेस्टिंग के साथ-साथ:

डेटा टेस्ट्स
मॉडल टेस्ट्स
पाइपलाइन टेस्ट्स

डेटा की टेस्टिंग

फीचर्स और डेटा के लिए टेस्ट्स:

फीचर एक्स्पेक्टेशंस
डेटा फीचर का मूल्य उसकी लागत को उचित ठहराता है
प्राइवेसी कंट्रोल
अवैध डेटा के उपयोग से बचें

अलग-अलग माप दर्शाते थर्मामीटरों का एक सेट.

मॉडल्स की टेस्टिंग

मॉडल्स के लिए टेस्ट्स:

बिज़नेस और ML मेट्रिक्स में सहसंबंध
सभी हाइपरपैरामीटर्स ट्यून किए गए हैं
मॉडल ओवरफिटिंग
मॉडल स्टेलेनेस
बेसलाइन तुलना

ML पाइपलाइनों की टेस्टिंग

ML पाइपलाइनों के लिए टेस्ट्स:

ट्रेनिंग रीप्रोड्यूसिबल है
ML पाइपलाइन की इंटीग्रेशन टेस्टिंग
मॉडल डिबग्गेबिलिटी

अभ्यास करते हैं!

फ़ुली ऑटोमेटेड MLOps