डेटा और मॉडल वर्ज़निंग

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Major & minor वर्ज़निंग

दो तरह की वर्ज़निंग: major और minor

Major वर्ज़निंग डेटा या मॉडल में बड़े बदलाव दर्शाती है

Minor वर्ज़निंग छोटे बदलाव दिखाती है

Major/Minor वर्ज़न से आप देख सकते हैं कि डेटा या मॉडल में क्या और कैसे बदलाव हुए

ट्रेनिंग डेटा की वर्ज़निंग

यूनिक major/minor लेबल या timestamps
प्रयोगों की reproducibility और traceability सुनिश्चित करना
डेटा के पिछले वर्ज़न पर आसानी से वापस जाना
समय के साथ डेटा में बदलाव देखना

उदाहरण:

Data V 1.0 हमारा शुरुआती डेटासेट था
Data V 1.1 में अतिरिक्त feature transformations शामिल थे
Data V 1.2 में एक feature selection method जोड़ी गई
Data V 2.0 में एक बिल्कुल नया data source शामिल है

Feature stores

अलग-अलग फीचर वर्ज़न स्टोर/मैनेज करने के लिए सेंट्रल रिपॉज़िटरी
फीचर्स के वर्ज़न को आसानी से ट्रैक करना
अलग-अलग प्रयोगों में फीचर्स का उपयोग
सहयोग और प्रयोगों की इंटेग्रिटी में सुधार
काम की डुप्लिकेशन घटाना

ML मॉडलों की वर्ज़निंग

अलग-अलग ML मॉडल वर्ज़न का ट्रैक रखना
प्रयोगों की reproducibility और traceability सुनिश्चित करना
मॉडल के पिछले वर्ज़न पर आसानी से रोलबैक करना
आमतौर पर ट्रेनिंग डेटा वर्ज़न से मेल खाता है, लेकिन हमेशा नहीं

उदाहरण:

Model V 1.0 हमारा शुरुआती मॉडल है (Random Forest)
Model V 1.1 वही मॉडल है, Data V 1.1 पर fine-tuned
Model V 2.0 अब XGBoost मॉडल है, Data V 1.2 पर fine-tuned
Model V 2.1 वही XGBoost मॉडल है, Data V 2.0 पर fine-tuned

Model stores

अलग-अलग मॉडल वर्ज़न स्टोर/मैनेज करने के लिए सेंट्रल रिपॉज़िटरी
मॉडलों के वर्ज़न को आसानी से ट्रैक करना
पिछले वर्ज़न पर रोलबैक करना

MLflow के साथ मॉडल वर्ज़निंग का उदाहरण

import mlflow

# Start a new mlflow run
with mlflow.start_run() as run:
    # Log model version as a parameter
    mlflow.log_param("model_version", "1.0")

    # Train and save the model
    model = train_model()
    mlflow.sklearn.log_model(model, "model")

अभ्यास करते हैं!

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

Preparing Video For Download...