Anomalies और outliers क्या हैं?

Python में Anomaly Detection

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Inliers बनाम outliers

Anomaly detection: असामान्य डेटा पॉइंट्स पहचानना
Inliers:
- "सामान्य" डेटा पॉइंट्स
- बहुमत का प्रतिनिधित्व करते हैं
Outliers:
- बहुत कम घटित होते हैं
- सांख्यिकीय रूप से भिन्न

Outliers के दो उदाहरण: पहला हरे खेत में एक लाल ट्यूलिप और दूसरा सफेद डंडियों के समूह से अलग एक काली डंडी

पृथ्वी ग्रह एक anomaly के रूप में

सभी ग्रह inliers हैं

बहुत दूर से मिल्की वे गैलेक्सी की छवि।

केवल पृथ्वी एक outlier है

पृथ्वी की एक रोचक छवि जो वायुमंडल को लेंस की तरह दिखाकर जीवन का संकेत देती है।

सांख्यिकीय परिभाषा

असामान्य रूप से अलग
फीचर्स काफी भिन्न होते हैं
कोई प्रेक्षक तय करता है कि datapoint outlier है या नहीं

Anomaly detection के उपयोग

"security" शब्द की छवि जिस पर माउस पॉइंटर होवर कर रहा है।

Anomaly detection के उपयोग

नीले दस्ताने वाला हाथ नीले तरल के साथ एक छोटा रासायनिक कंटेनर पकड़े हुए।

Anomaly detection के उपयोग

एक व्यक्ति अपनी Visa कार्ड एक महिला को दे रहा है जो चेकआउट टर्मिनल पकड़े हुए है।

उदाहरण डेटा

import pandas as pd

numbers = pd.Series([24, 46, 30, 28, 1289, 25, 21, 31, 48, 47])

Mean और variance पर प्रभाव

Outlier हटाकर डेटा

numbers_a = pd.Series([24, 46, ...])

numbers_a.mean()

33.33

numbers_a.var()

114.5

Outlier सहित डेटा

numbers_b = pd.Series([1289, 24, ...])

numbers_b.mean()

158.9

numbers_b.var()

157771.65

ट्रेनिंग डेटा में anomalies

Anomalies शोर पैदा करती हैं
नए उप-समूह के रूप में गलत समझी जा सकती हैं
वास्तविक पैटर्न से ध्यान हटाती हैं

Outlier बनाम novelty detection

Outlier detection

Outliers सिर्फ ट्रेनिंग डेटा में होते हैं

Novelty detection

Novelties सिर्फ नए डेटा में होते हैं

5-number summary

import pandas as pd

big_mart = pd.read_csv("big_mart.csv")
sales = big_mart['sales']

sales.describe()

count     8523.000000
mean      2181.288914
std       1706.499616
min         33.290000
25%        834.247400
50%       1794.331000
75%       3101.296400
max      13086.964800

Histogram प्लॉट करें

import numpy as np
import matplotlib.pyplot as plt

# Find the square root of the length of sales
n_bins = np.sqrt(len(sales))
# Cast to an integer
n_bins = int(n_bins)


# Plot
plt.figure(figsize=(8, 4))
plt.hist(sales, bins=n_bins, color='red')

प्राप्त histogram

प्रोडक्ट सेल्स का एक histogram जिसमें लाल बिन्स हैं और दाएँ तरफ लंबी टेल है।

Scatterplot प्लॉट करें

integers = range(len(sales))

plt.figure(figsize=(16, 8))
plt.scatter(integers, sales, c='red', alpha=0.5)

प्राप्त scatterplot

एक scatterplot जिसमें निचले हिस्से में सघन बिंदु बादल दिखता है और ऊपर की ओर विरल होता जाता है

अभ्यास करते हैं

Python में Anomaly Detection