डेटा क्लेंज़िंग और फ़िल्टरिंग

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें

Luis Silva

Solution Architect - Data & AI

डेटा क्लेंज़िंग टूल्स

 

 

खाली पंक्तियों को संभालना

• पूरी तरह खाली पंक्ति हो तो उसे हटाएँ

 

Dataflows के साथ खाली पंक्तियाँ संभालना

• Remove blank rows ट्रांसफ़ॉर्मेशन

 

Spark के साथ खाली पंक्तियाँ संभालना

• DataFrame dropna( ) फ़ंक्शन
• किसी भी null या सभी null वाली पंक्तियाँ हटा सकते हैं

डुप्लिकेट पंक्तियाँ संभालना

• डुप्लिकेट पंक्तियाँ हटाएँ

 

Dataflows के साथ डुप्लिकेट पंक्तियाँ संभालना

• Remove duplicates ट्रांसफ़ॉर्मेशन

 

Spark के साथ डुप्लिकेट पंक्तियाँ संभालना

• DataFrame dropDuplicates( ) फ़ंक्शन

 

वैल्यू बदलना

• किसी कॉलम में एक विशेष वैल्यू की जगह दूसरी वैल्यू रखें.
• खाली सेल्स को भी किसी वैल्यू से भरा जा सकता है.

 

Dataflows के साथ वैल्यू बदलना

• Replace values ट्रांसफ़ॉर्मेशन

 

Spark के साथ वैल्यू बदलना

• DataFrame replace( ) फ़ंक्शन

 

डेटा टाइप सुधारना

• पूरे मॉडल में डेटा टाइप की स्थिरता
• वैल्यूज़ की तुलना संभव होती है

डेटा टाइप सुधारना

• पूरे मॉडल में डेटा टाइप की स्थिरता.
• वैल्यूज़ की तुलना संभव.
• टाइप-विशिष्ट ऑपरेशन्स संभव.
  • न्यूमेरिक कॉलम पर अंकगणित.
  • दिनांक/समय कॉलम पर डेट/टाइम ऑपरेशन्स.

Dataflows में डेटा टाइप सुधारना

• संदर्भ-संवेदी मेनू (विकल्प 1):
  1. डेटा व्यू में एक कॉलम चुनें.
  2. कॉलम हेडिंग के बाएँ आइकन पर क्लिक करें.

Dataflows में डेटा टाइप सुधारना

• संदर्भ-संवेदी मेनू (विकल्प 1):
  1. डेटा व्यू में एक कॉलम चुनें.
  2. कॉलम हेडिंग के बाएँ आइकन पर क्लिक करें.
  3. सूची से नया डेटा टाइप चुनें.

Dataflows में डेटा टाइप सुधारना

• संदर्भ-संवेदी मेनू (विकल्प 2):
  1. डेटा व्यू में एक कॉलम चुनें.
  2. कॉलम हेडिंग पर राइट-क्लिक करें.

Dataflows में डेटा टाइप सुधारना

• एक ट्रांसफ़ॉर्म जोड़ें:
  1. डेटा व्यू में एक कॉलम चुनें.
  2. डायग्राम व्यू में (+) पर क्लिक कर ट्रांसफ़ॉर्मेशन जोड़ें.
  3. पॉप-अप मेनू में Change type पर क्लिक करें और सूची से नया डेटा टाइप चुनें.

Spark में डेटा टाइप सुधारना

• DataFrame cast( ) फ़ंक्शन

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

• उदाहरण:

# [orderID] कॉलम को integer में कन्वर्ट करें
df = df.withColumn("orderID", df["orderID"].cast("integer"))

डेटा फ़िल्टरिंग

• किसी शर्त के आधार पर पंक्तियाँ शामिल/बहिष्कृत करें.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Dataflows के साथ डेटा फ़िल्टरिंग

• Filter ट्रांसफ़ॉर्मेशन का उपयोग करें

Spark के साथ डेटा फ़िल्टरिंग

• DataFrame filter( ) फ़ंक्शन
• where( ), filter( ) का उपनाम है

df.filter( <condition> )

• उदाहरण:

# केवल वे पंक्तियाँ लौटाएँ जहाँ State = 'NY'
df.filter( df.state == 'NY' )

अभ्यास करते हैं!

Microsoft Fabric के साथ डेटा ट्रांसफॉर्म करें और विश्लेषण करें