Anomaly detection

डेटा क्वालिटी परिचय

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Anomaly detection की परिभाषा

Anomaly detection: जब किसी डेटासेट पर ऐतिहासिक डेटा से सीखने के लिए machine learning एल्गोरिदम का उपयोग किया जाता है और वह संभावित डेटा क्वालिटी समस्याएँ पहचानता है

समय के साथ मॉनिटरिंग दर्शाता एक आवर्धक शीशा और एक तीर जो संभावित anomaly वाली टेबल की ओर इशारा कर रहा है

Anomaly detection के फ़ायदे

फ़ायदे:

सिर्फ़ critical डेटा elements की बजाय बड़े पैमाने पर डेटा मॉनिटर करें
सेटअप में कम बिज़नेस ज्ञान चाहिए, क्योंकि machine learning एल्गोरिदम खुद त्रुटियों के पैटर्न सीखता है
डेटा ड्रिफ्ट और कम स्पष्ट insights पकड़ सकता है

विभिन्न स्रोतों से आता डेटा, स्केल पर डेटा क्वालिटी का संकेत देता एक आरेख

Anomaly detection का उपयोग

जब बड़ा डेटा उपलब्ध हो
जब बड़े डेटा पर डेटा क्वालिटी मॉनिटरिंग चाहिए
- न्यूनतम मैनुअल काम
- स्केल पर मॉनिटरिंग सेटअप करें
- डेटा anomalies ढूँढ़ना ऑटोमेट करें

डिटेक्टिव, प्रिवेंटेटिव, और anomaly detection के उपयोग पर तीन पंक्तियों का टेक्स्ट

Anomaly detection उदाहरण

दो टेबल जिनमें अंतिम पंक्ति में संभावित anomaly दिख रही है

अभ्यास करते हैं!

डेटा क्वालिटी परिचय