मॉडल का परीक्षण

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Individual vs Group fairness

Individual fairness

मिलते-जुलते व्यक्तियों के साथ समान व्यवहार करें।

जैसे, समान अनुभव वाले व्यक्तियों को समान नौकरी अवसर दें।

Group fairness

विभिन्न समूहों के साथ बराबरी का व्यवहार करें।

जैसे, स्कूल प्रवेश मॉडलों में कुछ नस्लीय या जातीय समूहों के खिलाफ भेदभाव न करें।

Holdout testing

होल्डआउट टेस्टिंग अलग डेटासेट से मॉडल की विश्वसनीयता जाँचती है
ट्रेनिंग समय की तरह, अनट्रेंड डेटा पर परफॉर्मेंस आँकती है
ओवरफिटिंग या अंडरफिटिंग जैसी समस्याएँ पकड़ती है

डेटा इस्तेमाल करते रोबोट

Model drift ढूँढना

Concept drift

फीचर्स और रिस्पॉन्स के बीच संबंध में बदलाव
- जैसे, एक sentiment analysis एल्गोरिदम
  - टर्म्स के अर्थ बदल सकते हैं (किसी चीज़ को "sick" कहना अच्छा माने जाना)

Prediction drift

मॉडल की prediction डिस्ट्रीब्यूशन में बदलाव
- जैसे, अस्थायी आउटेज से आपके चैटबॉट में "outage" इंटेंट बढ़ जाना
- तकनीकी रूप से कुछ "गलत" नहीं, पर यह ड्रिफ्ट यूज़र्स के लिए रिस्पॉन्स धीमा कर सकती है

Model drift ढूँढने का उदाहरण

Setup:

# Import necessary libraries and split data
X_train, X_test, y_train, y_test = ...

हमारा मॉडल फिट करना:

# Train a classifier on the training data
clf = DecisionTreeClassifier(random_state=42)
clf.fit(X_train, y_train)

# Calculate the accuracy on test data
y_pred = clf.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

बाद में ड्रिफ्ट की जाँच:

X_test_drift = X_test + 1.0  # Simulate data drift
# Calculate the accuracy on drifted data
y_pred_drift = clf.predict(X_test_drift)
accuracy_drift = accuracy_score(
    y_test, y_pred_drift)
print(f"Accuracy with drift: {accuracy_drift}")

# Drift detection threshold based on the accuracy
drift_threshold = accuracy * 0.9

# Check for drop in accuracy on the drifted data
if accuracy_drift < drift_threshold:
    print("Concept drift detected!")
else:
    print("No concept drift detected.")

Complex मॉडल बनाम baseline मॉडल की लागत

Complex मॉडल महंगे होते हैं और दक्षता पर असर डाल सकते हैं
Latency एक इनपुट प्रोसेस कर प्रेडिक्शन देने में लगने वाला समय मापती है
Throughput दिए गए समय में मॉडल कितनी प्रेडिक्शंस कर सकता है, यह मापता है
पता लगाने के लिए latency और throughput टेस्ट करें कि मॉडल में कितनी जटिलता होनी चाहिए
लक्ष्य है accuracy और efficiency में संतुलन

अभ्यास करते हैं!

प्रोडक्शन के लिए मशीन लर्निंग मॉडल विकसित करना