यूज़र-डिफ़ाइंड फंक्शंस

PySpark के साथ डेटा क्लीनिंग

Mike Metzger

Data Engineering Consultant

परिभाषा...

यूज़र-डिफ़ाइंड फंक्शंस या UDFs

Python method
pyspark.sql.functions.udf method के जरिए wrap किया गया
एक वैरिएबल के रूप में सेव
सामान्य Spark फंक्शन की तरह कॉल करें

Reverse string UDF

एक Python method परिभाषित करें

def reverseString(mystr):
    return mystr[::-1]

फंक्शन को wrap करें और वैरिएबल में सेव करें

udfReverseString = udf(reverseString, StringType())

Spark के साथ उपयोग करें

user_df = user_df.withColumn('ReverseName', 
                 udfReverseString(user_df.Name))

बिना आर्ग्युमेंट का उदाहरण

def sortingCap():
    return random.choice(['G', 'H', 'R', 'S'])
udfSortingCap = udf(sortingCap, StringType())
user_df = user_df.withColumn('Class', udfSortingCap())

Name	Age	Class
Alice	14	H
Bob	18	S
Candice	63	G

अभ्यास करते हैं!

PySpark के साथ डेटा क्लीनिंग