डेटा क्लीनिंग और प्रिपरेशन क्या है?

Alteryx में Data Preparation

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

क्लीन डेटा क्यों ज़रूरी है?

GIGO: "Garbage In, Garbage Out"

• डेटा को साफ़ और तैयार करने से आप:
  • गलतियाँ टालते हैं और त्रुटियाँ रोकते हैं
  • डेटा और फॉर्मेट्स को स्टैंडर्ड बनाते हैं
  • प्रोडक्टिविटी बढ़ाते हैं
  • इनसाइट तक पहुँच तेज़ करते हैं

डेटा साफ़ करना ऐसा है जैसे...

अपनी कार को ट्यून-अप करना - साफ़ पार्ट्स और नई फ्लुइड्स से कार का परफॉर्मेंस बेहतर होता है.

 

डर्टी डेटा के उदाहरण

• गुम या अधूरा डेटा

डर्टी डेटा के उदाहरण

• गुम या अधूरा डेटा
• अनस्टैंडर्ड या असंगत डेटा

डर्टी डेटा के उदाहरण

• गुम या अधूरा डेटा
• अनस्टैंडर्ड या असंगत डेटा
• डेटा एंट्री एरर

डर्टी डेटा के उदाहरण

• गुम या अधूरा डेटा
• अनस्टैंडर्ड या असंगत डेटा
• डेटा एंट्री एरर
• शुरुआती/अंत के whitespace, और अनचाहे कैरेक्टर्स या पंक्चुएशन

क्लीन डेटा तकनीकें

Missing Data मैनेज करें

• वैल्यू इम्प्यूट कर के missing डेटा फ़्लैग करें, जैसे:
  • string टाइप में null को ब्लैंक में बदलना
  • numeric टाइप में null को 0 से इम्प्यूट करना
• डेटा स्ट्रीम से missing डेटा फ़िल्टर करें

क्लीन डेटा तकनीकें

डेटा स्टैंडर्डाइज़ करें

• फॉर्मेटिंग सुनिश्चित करें
  • मुद्रा में $ जोड़ें
  • 000123456
• फील्ड नेम और फ़ाइलनेम के नेमिंग कन्वेंशन जाँचें
  • "filename_01012004.csv"
• फील्ड के डेटा का केस बदलें
  • LOCATION
• डेटा टाइप्स मॉडिफ़ाई करें

क्लीन डेटा तकनीकें

अनावश्यक चीज़ें हटाएँ

• शुरुआती/अंत के whitespace
• टैब्स और लाइन ब्रेक्स
• गैर-ज़रूरी रो या कॉलम
• अनचाहा पंक्चुएशन, अक्षर, और नंबर

रंग-कोडिंग के साथ प्रोफ़ाइल

Results विंडो और Profile में रंग-कोडिंग डेटा क्लीनिंग तकनीकों के उपयोग को गाइड करती है.

• Green = OK

रंग-कोडिंग के साथ प्रोफ़ाइल

Results विंडो और Profile में रंग-कोडिंग डेटा क्लीनिंग तकनीकों के उपयोग को गाइड करती है.

• Green = OK
• White = Unique

रंग-कोडिंग के साथ प्रोफ़ाइल

Results विंडो और Profile में रंग-कोडिंग डेटा क्लीनिंग तकनीकों के उपयोग को गाइड करती है.

• Green = OK
• White = Unique
• Yellow = Null

रंग-कोडिंग के साथ प्रोफ़ाइल

Results विंडो और Profile में रंग-कोडिंग डेटा क्लीनिंग तकनीकों के उपयोग को गाइड करती है.

• Green = OK
• White = Unique
• Yellow = Null
• Red = Not OK (जैसे, trailing whitespace)

रंग-कोडिंग के साथ प्रोफ़ाइल

Results विंडो और Profile में रंग-कोडिंग डेटा क्लीनिंग तकनीकों के उपयोग को गाइड करती है.

• Green = OK
• White = Unique
• Yellow = Null
• Red = Not OK (जैसे, trailing whitespace)
• Grey = Empty

Alteryx में डेटा टाइप्स

• अलग-अलग डेटा टाइप जानना ज़रूरी है
  • कब और कैसे उपयोग करें
• पाँच मुख्य डेटा श्रेणियाँ
  • Boolean - बाइनरी फॉर्मेट्स

Alteryx में डेटा टाइप्स

• अलग-अलग डेटा टाइप जानना ज़रूरी है
  • कब और कैसे उपयोग करें
• पाँच मुख्य डेटा श्रेणियाँ
  • Boolean - बाइनरी फॉर्मेट्स
  • Numeric - संख्या डेटा, इसमें Double शामिल है

Alteryx में डेटा टाइप्स

• अलग-अलग डेटा टाइप जानना ज़रूरी है
  • कब और कैसे उपयोग करें
• पाँच मुख्य डेटा श्रेणियाँ
  • Boolean - बाइनरी फॉर्मेट्स
  • Numeric - संख्या डेटा, इसमें Double शामिल है
  • String - टेक्स्ट डेटा

¹ String, जो String से V_W String टाइप्स तक फैला होता है.

Alteryx में डेटा टाइप्स

• अलग-अलग डेटा टाइप जानना ज़रूरी है
  • कब और कैसे उपयोग करें
• पाँच मुख्य डेटा श्रेणियाँ
  • Boolean - बाइनरी फॉर्मेट्स
  • Numeric - संख्या डेटा, इसमें Double शामिल है
  • String - टेक्स्ट डेटा
  • DateTime - दिनांक और समय डेटा

Alteryx में डेटा टाइप्स

• अलग-अलग डेटा टाइप जानना ज़रूरी है
  • कब और कैसे उपयोग करें
• पाँच मुख्य डेटा श्रेणियाँ
  • Boolean - बाइनरी फॉर्मेट्स
  • Numeric - संख्या डेटा, इसमें Double शामिल है
  • String - टेक्स्ट डेटा
  • DateTime - दिनांक और समय डेटा
  • Spatial - स्पैशियल ऑब्जेक्ट्स और पॉइंट्स

डेटासेट विवरण

• Alteryx हैंड्स-ऑन अभ्यास:
  • New York City Property Sales
  • सभी अभ्यासों के लिए एक ही डेटासेट
  • सबसे अधिक बिक्री का विश्लेषण

अभ्यास करते हैं!

Alteryx में Data Preparation