PySpark परिचय
Benjamin Schmidt
Data Engineer
UDF (User-Defined Function): PySpark dataframes के साथ डेटा पर काम करने के लिए कस्टम फंक्शन
UDFs के फायदे:
सभी PySpark UDFs को udf() फंक्शन से रजिस्टर करना होता है.
# Define the function def to_uppercase(s): return s.upper() if s else None# Register the function to_uppercase_udf = udf(to_uppercase, StringType())# Apply the UDF to the DataFrame df = df.withColumn("name_upper", to_uppercase_udf(df["name"]))# See the results df.show()
याद रखें: UDFs आपको PySpark DataFrames पर कस्टम Python लॉजिक लगाने देते हैं
from pyspark.sql.functions import pandas_udf
@pandas_udf("float")
def fahrenheit_to_celsius_pandas(temp_f):
return (temp_f - 32) * 5.0/9.0
udf() से Spark Session में रजिस्टर करना ज़रूरीPySpark परिचय