पहचाने गए आउटलायर से कैसे निपटें

Python में Anomaly Detection

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Anomaly detection के उपयोग

मेडिसिन
साइबर सुरक्षा
धोखाधड़ी पता लगाना

दो विश्लेषण करें - आउटलायर के साथ और बिना.

Outlier होने के कारण

डेटा एंट्री त्रुटियाँ:
- टाइपो
- मापन त्रुटियाँ
- मानवीय गलतियाँ
- ठीक न हों तो हटाएँ
सैंपलिंग त्रुटियाँ:
- टारगेट डिस्ट्रीब्यूशन से नहीं
- हटाएँ
नेचुरल:
- स्वाभाविक रूप से अलग, पर आबादी से आता है
- न हटाएँ

मान के आधार पर हटाना

बहुत कम: पुष्टि करें और हटाएँ
बहुत ज़्यादा: संदेहास्पद — अलग मॉडल इस्तेमाल करें:
- GLMs
- Quantile Regression
- GEEs
क्लस्टर बनता है: गहराई से विश्लेषण करें

Trimming

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)

Replacing

google.replace(0, 100, inplace=True)

अभ्यास करते हैं!

Python में Anomaly Detection