डेटा ड्रिफ्ट

एंड-टू-एंड मशीन लर्निंग

Joshua Stapleton

Machine Learning Engineer

डेटा ड्रिफ्ट डिटेक्शन की ज़रूरत

एक ग्राफ जो समय के साथ अलग-अलग उम्र में हृदय रोग के वितरण में बदलाव दिखाता है — आज हृदय रोग के मामले कम हैं और उम्र अधिक है

एंड-टू-एंड मशीन लर्निंग

कोल्मोगोरोव–स्मिरनोव टेस्ट

  • डेटा ड्रिफ्ट पहचानने के लिए आम तौर पर इस्तेमाल होता है
  • डेटासेट सैंपल्स के फर्क की तुलना कर वितरण समानता जाँचता है

दो ग्राफ जो शुरुआती प्रशिक्षण डेटासेट और नए इन्फेरेंस डेटासेट के वितरण में अंतर दिखाते हैं, जिसमें डेटा ड्रिफ्ट हुआ है

एंड-टू-एंड मशीन लर्निंग

`ks_2samp()` फंक्शन का उपयोग

  • ks_2samp() फंक्शन दो वैल्यू लौटाता है: टेस्ट स्टैटिस्टिक, p-value.
  • p-value से वितरण समानता की शून्य परिकल्पना स्वीकार/अस्वीकार करें।
from scipy.stats import ks_2samp
# load the 1D data distribution samples for comparison
sample_1, sample_2 = training_dataset_sample, current_inference_sample
# perform the KS-test - ensure input samples are numpy arrays
test_statistic, p_value = ks_2samp(sample_1, sample_2)
if p_value < 0.05:
    print("Reject null hypothesis - data drift might be occuring")
else:
    print("Samples are likely to be from the same dataset")
एंड-टू-एंड मशीन लर्निंग

डेटा ड्रिफ्ट को ठीक करना

नए डेटा के अनुसार मॉडल अपडेट करें

  • मॉडल को पुनः प्रशिक्षित करें
  • मॉडल पैरामीटर्स फिर से समायोजित/अपडेट करें

नया/इन्फेरेंस डेटा कम है?

  • मिक्स्ड डेटासेट पर मॉडल को पुनः प्रशिक्षित करें
  • नए डेटा की मात्रा बढ़ाएँ

एक फ्लोचार्ट जो डेटा ड्रिफ्ट झेल रहे मॉडल के पुनः प्रशिक्षण और पुनः डिप्लॉयमेंट की प्रक्रिया दिखाता है

एक डायग्राम जो समय के साथ उपलब्ध होते नए डेटा पर मॉडल को समय-समय पर बढ़ती मात्रा में पुनः प्रशिक्षित करने का तरीका दिखाता है

एंड-टू-एंड मशीन लर्निंग

डेटा ड्रिफ्ट पहचानने और सुधारने के लिए और संसाधन

  • Population Stability Index (PSI)

    • एकल श्रेणीबद्ध वैरिएबल्स/कॉलम्स की तुलना करता है
  • Evidently

    • ओपन-सोर्स Python लाइब्रेरी
    • डेटा ड्रिफ्ट को मज़बूती से टेस्ट और सुधारें
  • NannyML

    • डिप्लॉय किए गए मॉडल का परफॉर्मेंस मॉनिटर करें
एंड-टू-एंड मशीन लर्निंग

अभ्यास करते हैं!

एंड-टू-एंड मशीन लर्निंग

Preparing Video For Download...