डेटाबेस और क्वालिटी चेक्स

Decision Science समझना

Howard Friedman

Adjunct Professor at Columbia University

डेटा स्रोतों का ट्रायज

सारा डेटा समान उपयोगी नहीं होता

  • कुछ डेटासेट को भारी क्लीनिंग चाहिए या उनमें उपयोगी फीचर नहीं होते
  • कुछ पर मेहनत करना ही बेकार हो सकता है

 

डेटा ट्रायज जल्दी प्राथमिकता तय करता है

  • समय और संसाधन लगाने से पहले जाँचें कि डेटासेट व्यावहारिक है या नहीं

उपलब्धता से शुरू करें

  • क्या डेटा आसानी से मिल जाता है या पेवॉल के पीछे है
  • क्या अनुमति या सुरक्षा बाधाएँ हैं
  • इसे शुरू में सुलझाने से बेकार मेहनत बचती है

triage.png

Decision Science समझना

मुख्य जाँचें

लागत पर विचार करें

  • क्या लाइसेंसिंग या एक्सेस फीस है
  • क्या स्टोरेज या विशेष टूल्स के लिए भुगतान करना होगा

उपयोगिता का मूल्यांकन करें

  • क्या डेटासेट में आपके विश्लेषण के लिए आवश्यक सामग्री है
  • स्कोप, डिटेल, पूर्णता, और फीचर प्रासंगिकता जाँचें

अपडेट फ्रीक्वेंसी जाँचें

  • रियल-टाइम प्रेडिक्शन के लिए रियल-टाइम या नियमित रूप से अपडेटेड डेटा चाहिए
  • असंगत अपडेट साइकिल डेटा को अनुपयोगी बना सकती है

भौगोलिक रेज़ोल्यूशन आँकें

  • क्या डेटा आपके विश्लेषण के स्पैटियल स्तर से मेल खाता है
  • यदि आपको zip-code स्तर चाहिए, तो राष्ट्रीय डेटा मदद नहीं करेगा
Decision Science समझना

डेटा क्वालिटी चेक्स

डेटा क्वालिटी मायने रखती है

  • खराब डेटा मॉडल्स बिगाड़ सकता है और गलत फैसले दिला सकता है
  • "Garbage in, garbage out" निर्णय विज्ञान में वास्तविक जोखिम है

GIGO.png

मिसिंगनेस पर नज़र रखें

  • हर कॉलम में missing values का प्रतिशत
  • वे पैटर्न जो गहरे डेटा-संग्रह मुद्दे दिखाएँ

बेसिक रेंज चेक्स करें

  • क्या संदर्भ के हिसाब से बेमानी वैल्यू हैं
  • उदाहरण: age = 450 या price = -$10
  • बड़ी समस्याओं को जल्दी फ़्लैग करने के लिए चेक्स का उपयोग करें
Decision Science समझना

और जाँचें

आउटलायर की समीक्षा करें

  • विज़ुअलाइज़ेशन के लिए हिस्टोग्राम या बॉक्सप्लॉट्स उपयोग करें
  • कुछ हटाने से पहले स्टेकहोल्डर्स से चर्चा करें

समयबद्धता आँकें

  • पूछें कि आपका डेटा पर्याप्त रूप से हाल का है या नहीं
  • तेज़-रफ़्तार संदर्भों में बार-बार अपडेटेड डेटा चाहिए

फ़ॉर्मैटिंग निरंतरता सुनिश्चित करें

  • असंगत date फ़ॉर्मैट, स्पेलिंग या कॉलम-नेमिंग मिसमैच ढूँढें
  • विश्लेषण में समस्याओं से बचने हेतु क्लीन करें और स्टैंडर्डाइज़ करें

QA.png

Decision Science समझना

अभ्यास करते हैं!

Decision Science समझना

Preparing Video For Download...