मॉडल की विश्वसनीयता

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

ML मॉडलों को बिज़नेस इम्पैक्ट मेट्रिक्स से संरेखित करना

  • बिज़नेस इम्पैक्ट मेट्रिक्स, बिज़नेस पर ML का असर मापते हैं
    • जैसे revenue, cost savings, customer satisfaction score (CSAT)
  • इन्हें मॉडल मेट्रिक्स से संरेखित होना चाहिए
    • जैसे churn predictor --> revenue
    • जैसे manufacturing maintenance predictor --> cost savings
    • जैसे chatbot intent detection की accuracy --> CSAT

graph going up

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

ML पाइपलाइनों में टेस्टिंग रुटीन

  • Unit tests अलग-अलग कंपोनेंट्स को टेस्ट करते हैं
    • जैसे जाँचें कि PCA instance अपेक्षित संख्या में फीचर्स देता है
  • Integration tests पूरी पाइपलाइन को देखते हैं
    • जैसे जाँचें कि input डेटा सही तरह प्रीप्रोसेस होता है, मॉडल सटीक prediction देता है, और output सही post-process होता है
  • Smoke tests जल्दी टेस्ट होते हैं जो सिस्टम पर भरोसा देते हैं
    • जैसे जाँचें कि मॉडल कुछ sample images का सही वर्गीकरण कर सकता है
  • जल्दी और बार-बार टेस्ट करें
    • जैसे नया डेटा मिलते ही मॉडल को टेस्ट करें
प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

उदाहरण unit test

def test_pipeline():
    # Generate mock data for testing
    X_train = pd.DataFrame({'age': [25, 30, 35, 40], 'income': [50000, 60000, 70000, 80000])
    y_train = pd.Series([0, 0, 1, 1])

    pipeline = Pipeline([('preprocessing', DataPreprocessor()),  # Set up pipeline
                         ('model', LogisticRegression())])
    pipeline.fit(X_train, y_train)  # Fit pipeline on training data

    # Generate mock data for testing
    X_test = pd.DataFrame({'age': [30, 35, 40, 45], 'income': [55000, 65000, 75000, 85000])
    y_test = pd.Series([0, 0, 1, 1])
    y_pred = pipeline.predict(X_test)  
    accuracy = accuracy_score(y_test, y_pred)  # Evaluate pipeline on test data

    assert accuracy > 0.8, "Error: pipeline accuracy is too low."
प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

मॉडल staleness की मॉनिटरिंग

  • Model staleness - समय के साथ मॉडल का प्रदर्शन घटता है
    • डेटा या परिवेश में बदलाव
  • Continuous Monitoring!

confused robot

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

मॉडल staleness की पहचान और समाधान

Identifying

  • मॉडल प्रदर्शन मॉनिटर करना
  • डेटा और परिवेश में बदलाव मॉनिटर करें

Addressing

  • नए डेटा पर मॉडल को फिर से ट्रेन करना
    • जैसे मॉडल में नया फीचर जोड़ना है
  • परिवेश परिवर्तनों के अनुसार data pipeline अपडेट करें
    • जैसे analytics platforms में बदलाव से आपकी पाइपलाइन भ्रमित हो रही है
प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

अभ्यास करते हैं!

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

Preparing Video For Download...