डेटा एक्सप्लोरेशन और ट्रांसफॉर्मेशन

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें

Luis Silva

Solution Architect - Data & AI

डेटा ट्रांसफॉर्मेशन परिदृश्य

हमें डेटा ट्रांसफॉर्म क्यों करना चाहिए?

सोर्स सिस्टम से गलत डेटा हटाएँ या साफ करें

डेटा टेबल जिसकी कुछ अमान्य एंट्रियाँ लाल रंग में हाइलाइट हैं

डेटा ट्रांसफॉर्मेशन परिदृश्य

हमें डेटा ट्रांसफॉर्म क्यों करना चाहिए?

सोर्स सिस्टम से गलत डेटा हटाएँ या साफ करें.
कंसिस्टेंसी के लिए डेटा टाइप्स बदलें.

एक डेटा कॉलम जो नंबरों को टेक्स्ट के रूप में स्टोर करता है, उसे वास्तविक नंबरों में कनवर्ट होते दिखाया गया है

डेटा ट्रांसफॉर्मेशन परिदृश्य

हमें डेटा ट्रांसफॉर्म क्यों करना चाहिए?

सोर्स सिस्टम से गलत डेटा हटाएँ या साफ करें.
कंसिस्टेंसी के लिए डेटा टाइप्स बदलें.
अप्रासंगिक डेटा फ़िल्टर करें.

एक टेबल जो फ़िल्टरिंग से पहले और बाद की स्थिति दिखाता है, जहाँ निर्धारित मानदंड न पूरी करने वाली पंक्तियाँ हटाई गई हैं; यहाँ केवल वे रिकॉर्ड रखे गए हैं जहाँ एक फ़ील्ड 'X' के बराबर नहीं है

डेटा ट्रांसफॉर्मेशन परिदृश्य

हमें डेटा ट्रांसफॉर्म क्यों करना चाहिए?

सोर्स सिस्टम से गलत डेटा हटाएँ या साफ करें.
कंसिस्टेंसी के लिए डेटा टाइप्स बदलें.
अप्रासंगिक डेटा फ़िल्टर करें.
कई सोर्स सिस्टम से डेटा मिलाएँ.

दो टेबल जिन्हें एक में जोड़ा गया है, ऐसा डायग्राम -

डेटा ट्रांसफॉर्मेशन परिदृश्य

हमें डेटा ट्रांसफॉर्म क्यों करना चाहिए?

सोर्स सिस्टम से गलत डेटा हटाएँ या साफ करें.
कंसिस्टेंसी के लिए डेटा टाइप्स बदलें.
अप्रासंगिक डेटा फ़िल्टर करें.
कई सोर्स सिस्टम से डेटा मिलाएँ.
विश्लेषण और रिपोर्टिंग के लिए डेटा को अधिक उपयुक्त फॉर्मेट में रखें.

एक बड़ा टेबल जिसे स्टार स्कीमा में ट्रांसफॉर्म किया जा रहा है, ऐसा डायग्राम

डेटा क्लेंज़िंग

अप्रासंगिक पंक्तियाँ घटाएँ (ऊपर/नीचे की पंक्तियाँ हटाएँ)
डुप्लिकेट हटाएँ
खाली पंक्तियाँ हटाएँ
एरर वाली पंक्तियाँ हटाएँ
डेटा टाइप्स कनवर्ट करें

सोर्स डेटा टेबल जिसमें कुछ अमान्य एंट्रियाँ लाल में हाइलाइट हैं और एक एरो दिखाता है कि ये अमान्य रिकॉर्ड डेस्टिनेशन टेबल से हटाए गए हैं

डेटा फ़िल्टर करना

डेटासेट्स को नैरो करना
- केवल डेटा का एक सबसेट चुनें
- वे रिकॉर्ड हटाएँ जो कुछ मानदंडों को नहीं पूरा करते
उदाहरण: SQL WHERE क्लॉज़

एक क्वेरी का स्क्रीनशॉट जो Orders टेबल से वह डेटा चुनती है जहाँ State कॉलम NY के बराबर है

एक डायग्राम जो टेबल में NY स्टेट से संबंधित न होने वाली पंक्तियाँ फ़िल्टर करता दिखाता है

डेटा मर्जिंग और जॉइनिंग

दो या अधिक डेटासेट्स को जॉइन करें
स्टार स्कीमा बनाने में उपयोगी

दो टेबल्स के मर्ज को दर्शाता डायग्राम

डेटा एग्रीगेशन और डी-एग्रीगेशन

एग्रीगेट: डेटा को संकलित और सारांशित करें

प्रति स्टेट सेल्स ऑर्डर्स को एग्रीगेट करके नया टेबल, जिसमें प्रति स्टेट ऑर्डर्स की कुल संख्या और कुल सेल्स अमाउंट है

डिसएग्रीगेट: डेटा बाँटें, आमतौर पर एक कॉलम को कई कॉलम में

ब्रांच लोकेशन्स का टेबल जहाँ लोकेशन में city, state थे, उन्हें अलग-अलग कॉलम्स में डिसएग्रीगेट कर नया टेबल बनाया गया है

डेटा एक्सप्लोरेशन और ट्रांसफॉर्मेशन टूल्स

Dataflows
Data Wrangler

दो स्क्रीनशॉट साथ-साथ, जिनमें dataflows और data wrangler का ग्राफिकल इंटरफेस दिखता है

Spark notebooks
SQL scripts

दो स्क्रीनशॉट साथ-साथ, एक सैंपल Spark notebook और एक SQL script दिखाते हुए

Dataflows

लो-कोड ग्राफिकल इंटरफेस
क्लेंज़िंग
फ़िल्टरिंग
एग्रीगेटिंग

Dataflow डिज़ाइनर का स्क्रीनशॉट, जिसमें कुछ सैंपल क्वेरियाँ और उपलब्ध ट्रांसफॉर्मेशन ऑपरेशन्स दिखते हैं

Data Wrangler

एक्सप्लोरेटरी डेटा एनालिसिस के लिए नोटबुक-आधारित टूल
डेटा डिस्प्ले ग्रिड
डायनेमिक समरी स्टैटिस्टिक्स
बिल्ट-इन विज़ुअलाइज़ेशन्स
कॉमन डेटा-क्लीनिंग ऑपरेशन्स की लाइब्रेरी

Data Wrangler इंटरफेस का स्क्रीनशॉट, जिसमें कुछ सैंपल ऑपरेशन्स दिखते हैं

Spark notebooks

कई भाषाएँ
डेटा मैनिपुलेशन के लिए Python लाइब्रेरीज़
- बड़े डेटासेट्स के लिए PySpark
- छोटे डेटासेट्स के लिए Pandas

Spark notebooks का स्क्रीनशॉट, जिसमें सैंपल PySpark कोड है

SQL scripts

डेटा मैनिपुलेशन के लिए T-SQL स्टेटमेंट्स: SELECT, INSERT, UPDATE, DELETE
डेटा मर्ज के लिए JOIN
डेटा टाइप्स बदलने के लिए CAST और CONVERT

SQL एडिटर का स्क्रीनशॉट, जिसमें एक सैंपल SELECT क्वेरी है

अभ्यास करते हैं!

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें