स्वचालित प्रयोग ट्रैकिंग

फ़ुली ऑटोमेटेड MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Machine learning स्वभाव से प्रयोगात्मक है

कई "levers" जिन पर प्रयोग कर सकते हैं:

डेटा transformations
- उपयोग की गई features
प्रशिक्षण algorithms
- hyperparameter tuning
मूल्यांकन metrics
- precision, recall, आदि

संभावनाओं का बहुत बड़ा स्पेस!

कई ऐन्टेना तारों से भरे आकाश की ओर इशारा करते हुए। यह छवि एक बहुत बड़े, पूरी तरह खंगालना कठिन स्पेस को दिखाती है।

मैनुअल Machine Learning वर्कफ़्लो की समस्याएँ

ऑटोमेशन की कमी = मैनुअल ML वर्कफ़्लोज़ में दिक्कतें

प्रयोग और परिणाम ट्रैक करना कठिन
समय और संसाधनों की बर्बादी
परिणामों को दोहराना/साझा करना मुश्किल

लैपटॉप के सामने बेहद परेशान डेटा साइंटिस्ट की छवि.

ML में स्वचालित लॉगिंग

लॉग करने के लिए महत्वपूर्ण चीजें:

कोड
एनवायरनमेंट
डेटा
पैरामीटर्स
मैट्रिक्स

लॉगिंग का महत्व

लॉगिंग आवश्यक है:

ML सिस्टम में प्रयोगों की reproducibility के लिए.
सिस्टम परफॉर्मेंस ट्रैक करने और सूचित फैसले लेने के लिए.
सुधार हेतु संभावित मुद्दे पहचानने के लिए.

Reproducibility पारदर्शिता देती है और हमारे सिस्टम को भरोसेमंद बनाने में अहम है.

स्वचालित प्रयोग ट्रैकिंग सिस्टम

रन या एक्सपेरिमेंट के आधार पर लॉग व्यवस्थित करें ताकि:

मॉडल ट्रेनिंग मेटाडेटा देखें
मॉडल ट्रेनिंग रन की तुलना करें
मॉडल ट्रेनिंग रन दोहराएँ

एक IT आर्किटेक्चर चित्र। एक्सपेरिमेंट ट्रैकिंग सिस्टम दो घटकों से बना है: एक डैशबोर्ड यूजर इंटरफ़ेस और एक प्रोग्रामैटिक एक्सेस इंटरफ़ेस। डैशबोर्ड UI को सिस्टम के यूजर्स एक्सेस करते हैं। प्रोग्रामैटिक एक्सेस का उपयोग अन्य आर्किटेक्चर कंपोनेंट्स करते हैं। एक्सपेरिमेंट ट्रैकिंग सिस्टम उस अन्य कंपोनेंट से लॉग लिखता और पढ़ता है जो लॉग्स स्टोर करता है।

स्वचालित प्रयोग ट्रैकिंग - आज का बाज़ार

प्रयोग ट्रैकिंग को ऑटोमेट करने वाले कई टूल:

TensorBoard

MLFlow

Weights & Biases

Neptune

Tensorflow लोगो.

$$ Weight & Biases लोगो.

Neptune.AI लोगो.

अभ्यास करते हैं!

फ़ुली ऑटोमेटेड MLOps