Covariate shift कैसे पहचानें

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Multivariate drift detection

  • संयुक्त वितरण में बदलाव ढूँढता है

 

 

  • डेटा compression के लिए PCA algorithm का उपयोग करता है

 

 

  • drift मापने के लिए reconstruction error उपयोग करता है

छवि एक multivariate drift detection workflow दिखाती है, जहाँ बहुआयामी डेटा को पहले latent space में compress किया जाता है और फिर एक निश्चित reconstruction के साथ मूल रूप में decompress किया जाता है.

ग्राफ समय के साथ data reconstruction drift error में उतार-चढ़ाव दर्शाता है.

Monitoring Machine Learning Concepts

Univariate drift detection

वैरिएबल के प्रकार:

  • Categorical - ऐसे डेटा के प्रकार जो समूहों में बाँटे जा सकते हैं, जैसे marital status, smoking status, education level

 

  • Continuous - दिए गए अंतराल में अनंत वास्तविक मानों वाला वैरिएबल, जैसे height, weight, distance, time
Monitoring Machine Learning Concepts

Continuous methods - Jensen-Shannon

  • दो distributions की समानता मापता है

  • रेंज [0, 1]

  • कम-परिमाण के सार्थक drifts पकड़ता है

छवि Jensen-Shannon distance से मापे गए distribution में बदलाव दिखाती है.

Monitoring Machine Learning Concepts

Continuous methods - Wasserstein

  • एक distribution को दूसरे में बदलने के लिए न्यूनतम प्रयास

  • रेंज [0, +inf]

  • outliers के प्रति संवेदनशील

छवि Wasserstein distance से मापे गए distribution में बदलाव दिखाती है.

Monitoring Machine Learning Concepts

Continuous methods - Kolmogorov-Smirnov

  • cumulative distribution functions के बीच अधिकतम दूरी

  • रेंज [0, 1]

  • false positives की संभावना अधिक

छवि Kolmogorov-Smirnov distance से मापे गए distribution में बदलाव दिखाती है.

Monitoring Machine Learning Concepts

Continuous methods - Hellinger

  • distributions के बीच overlap
  • रेंज [0, 1]
  • प्रबल shifts में भेद नहीं करता

 

Continuous methods - सिफारिश

  • Jensen-Shannon और Wasserstein प्रायः अच्छा प्रदर्शन करते हैं

छवि Hellinger distance से मापे गए distribution में बदलाव दिखाती है.

Monitoring Machine Learning Concepts

Categorical methods - Chi-squared

  • कम-आवृत्ति वाली categories में बदलाव के प्रति संवेदनशील

छवि दो categories, a और b, वाले categorical वैरिएबल के लिए chi-squared सांख्यिकी का विज़ुअलाइज़ेशन दिखाती है.

Monitoring Machine Learning Concepts

Categorical methods - L-infinity

  • सभी categories में सबसे महत्वपूर्ण shift की पहचान करता है

छवि तीन categories, a, b, और c, वाले categorical वैरिएबल के लिए L-Infinity method का विज़ुअलाइज़ेशन दिखाती है.

Monitoring Machine Learning Concepts

Categorical methods - Jensen-Shannon and Hellinger

  • कई categories होने पर Jensen-Shannon या L-Infinity
  • व्यक्तिगत categories में बदलाव पकड़ने के लिए L-Infinity distance

छवि तीन categories, a, b, और c, वाले categorical वैरिएबल के लिए Jensen-Shannon और Hellinger विधियों का विज़ुअलाइज़ेशन दिखाती है.

Monitoring Machine Learning Concepts

अभ्यास करते हैं!

Monitoring Machine Learning Concepts

Preparing Video For Download...